Wie wollen Sie die Volltextsuche ein amazon s3-bucket?
Ich habe einen Eimer auf S3, in dem ich eine große Anzahl von text-Dateien.
Ich wollen, suchen Sie text in einer Textdatei. Es enthält raw-Daten nur.
Und jeder text-Datei hat einen anderen Namen.
Für das Beispiel, ich habe einen bucket-Namen:
abc/myfolder/abac.txt
xyx/myfolder1/axc.txt
& ich will suchen von text, wie "ich bin ein Mensch" in dem obigen text-Dateien.
Wie Sie diese erreichen ? Ist es überhaupt möglich ?
- Sie hätten auf Wunsch alle Dateien eins nach dem anderen; es ist keine relationale Datenbank, nachdem alle.
- wenn ich die 10 fehlenden Dateien. dann ist meine Suche sehr langsam ist, ist es ?
- Ja, Suche einen Millionen-Dateien einige Zeit in Anspruch nehmen; es ist wahrscheinlich am besten überdenken Sie Ihre Möglichkeiten.
- was ist mit cloud-such-Api zur Verfügung gestellt von AWS ?
Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.
Der einzige Weg, dies zu tun wird über CloudSearch, die S3 als Quelle. Es arbeitet mit schnellen Abruf auf einen index zu erstellen. Das sollte sehr gut funktionieren, aber gründlich check-out der pricing-Modell, um sicherzustellen, dass diese nicht zu teuer für Sie.
Die alternative ist, wie Jack sagte, Sie würde sonst zu übertragen müssen die Dateien in S3, EC2 und der Aufbau einer such-Anwendung gibt.
Seit 1. Oktober 2015 Amazon bietet einen weiteren Suchdienst mit Elastic Search, mehr oder weniger in die gleiche Richtung wie cloud suchen, können Sie stream-Daten aus Amazon S3-buckets.
Funktioniert es mit einer lambda-Funktion, um sicherzustellen, dass alle neuen Daten, die an einem S3-bucket löst ein Ereignis-Benachrichtigung, um dieses Lambda und aktualisieren Sie ES index.
Alle Schritte sind detailliert im amazon doc mit Java-und Javascript-Beispiel.
Auf einem hohen Niveau, Einstellung der stream-Daten zu Amazon-ES sind die folgenden Schritte erforderlich:
Können Sie Filestash (Haftungsausschluss: ich bin der Autor), installieren Sie eigene Instanz und eine Verbindung zu Ihrem S3-bucket. Schließlich gib es ein bisschen Zeit, um index die ganze Sache, wenn Sie haben eine ganze Menge von Daten, und Sie sollte gut sein
Wenn du eine EMR erstellen Sie dann ein Funke Anwendung, und führen Sie eine Suche . Haben wir das getan. Dies funktioniert so verteilt searcn