Halten elasticsearch und die Datenbank synchronisiert

Ich versuche, herauszufinden, einen Weg, um meine mysql-db und elasticsearch-db synchronisiert. Ich habe setup eine jdbc-Fluss über die jprante /elasticsearch-river-jdbc plugin für elasticsearch. Wenn ich führen Sie die nachstehenden Antrag:

curl -XPUT 'localhost:9200/_river/my_jdbc_river/_meta' -d '{
"type" : "jdbc",
"jdbc" : {
    "driver" : "com.mysql.jdbc.Driver",
    "url" : "jdbc:mysql://localhost:3306/MY-DATABASE",
    "user" : "root",
    "password" : "password",
    "sql" : "select * from users",
    "poll" : "1m"
},
"index" : {
    "index" : "test_index",
    "type" : "user"
}
}'

dem Fluss beginnt die Indizierung der Daten, aber für die paar Schallplatten, die ich bekommen org.elasticsearch.index.mapper.MapperParsingException. Nun gibt es Diskussionen in Bezug auf dieses Problem hier, aber ich möchte wissen, einen Weg, um dieses Problem.

Ist es möglich, dauerhaft dieses Problem beheben, indem eine explizite Zuordnung für alle 'Felder' des 'Typ', dass ich versuche, index oder gibt es einen besseren Weg, um dieses Problem zu lösen?

Andere Frage, die ich habe, ist, wenn der jdbc-Fluss abfragt, die Datenbank erneut, so scheint es, um re-index die gesamten Daten-set(gegeben in der sql-Abfrage) wieder in ES. Ich bin mir nicht sicher, aber ist dies getan, weil elasticsearch hinzufügen will frische Daten sowie update-alle änderungen in den vorhandenen Daten? Ist es möglich index nur die frischen Daten, wenn die Daten der Tabelle ist statisch?

InformationsquelleAutor serpent403 | 2012-10-03
  1. 5

    Haben Sie Blick auf default-mapping?
    http://www.elasticsearch.org/guide/reference/mapping/dynamic-mapping.html

    Ich denke, es kann Ihnen dabei helfen.

    Wenn Sie ein Datum einfügen-Feld in der Datentabelle, können Sie es verwenden, um zu filtern, was Sie zu indizieren.
    Sehen https://github.com/jprante/elasticsearch-river-jdbc#time-based-selecting

    HTH

    David

    InformationsquelleAutor dadoonet
  2. 0

    Elastic Search gesunken, der Fluss sync-Konzept. Es ist nicht eine empfohlene Weg, denn in der Regel ist es nicht sinnvoll zu halten normalisierte SQL-Tabellenstruktur im Dokument speichern wie Elastic Search.

    Sagen, Sie haben Produkt wie ein Unternehmen mit einigen Parametern und Reviews auf Produkt-Entität als Eltern-Kind-Tabelle, wie Bewertungen könnten mehrere auf dieselbe Tabelle.

    Products(Id, name, status,... etc)
Product_reviewes(product_id, review_id)
Reviews(id, note, rating,... etc)

    Im Dokument zu speichern, dann erstellen Sie einen Index mit dem Namen sagen Produkt enthält Product{attribute1, attribute1,... Product reviews[review1, review2,...]}

    Hier ist der Ansatz der Synchronisierung in einem solchen setup.

    Annahme:

    1. SQL-Datenbank(True Source of record)
    2. Elastic Search oder anderen NoSql-Dokument Speichern

    Lösung:

    1. So bald als Update/updates passiert in der Publizieren-event/Veranstaltungen in JMS/AMQP/Datenbank-Queue/Datei-System-Queue/Amazon SQS etc. entweder eine vollständige Produkt-oder primary-Objekt-ID(ich würde empfehlen, nur ID)
    2. Queue sollten die Verbraucher dann den Webdienst aufrufen, erhalten Sie die volle Objekt, wenn nur die Primäre ID geschoben Warteschlange oder nehmen Sie einfach das Objekt, das es selbst und senden Sie die entsprechenden änderungen an Elastic search/NoSQL-Datenbank.
    InformationsquelleAutor Red Boy
Schreibe einen Kommentar