MongoDB ETL (php/java...)

Gibt es eine ETL für MongoDB ?...

  • Können Sie das konkretisieren? Was ist das format der Daten, die Sie möchten, zu extrahieren, transformieren und laden in mongodb in MongoDb?
InformationsquelleAutor Omar | 2011-03-26
  1. 6

    Pentaho Data Integration unterstützt MongoDB (Siehe die Dokumentation http://wiki.pentaho.com/display/EAI/Pentaho+Daten+Integration+Schritte).

    Ähnlich Talend unterstützt MongoDB: https://github.com/adrien-mogenet/tMongoDBConnection

    InformationsquelleAutor Daniel Lemire
  2. 5

    Für einfache Einsätze von CSV-Dokumente, die ich würde vorschlagen, Blick auf die Mongo wiki Seite Import-Export-Tools.

    Für etwas komplizierter ich würde vorschlagen, das schreiben einer ad-hoc-Skript in der Sprache, die Sie am bequemsten mit.

    • thx!!! Ich glaube, einen Treiber erstellen für scriptella ...
    InformationsquelleAutor Justin Dearing
  3. 2

    Scheint es, dass Pentaho Data Integration und Talend unterstützt nur das Lesen von MongoDB, aber nicht schreiben.

    Ein weiteres tool, gerade angekündigt, die Unterstützung für MongoDB ist DataCleaner, und es unterstützt sowohl lese-als auch Schreibvorgänge. Es stellt sich nicht ganz wie ein ETL-tool, sondern eher wie eine Daten-Qualität-Analyse-tool, aber es funktioniert ETL-ähnliche Funktionen auch.

    http://datacleaner.eobjects.org

    • Pentaho unterstützt nun das schreiben der Mongo-collection
    • Ja, und Sie haben sogar ein Video hier
    InformationsquelleAutor Ben Keller
  4. 0

    Ich meine eigene ETL-Lösung mit python-Skripten, um Daten aus MySQL zu MongoDB. Es ist toll, in meinem Kopf.

    Grundsätzlich habe ich folgende zwei python-Module für den Zugriff auf mysql und mongodb:

    1. pymongo
    2. python-mysql.verbinden

    Beide sind installierbar aus dem offiziellen Ubuntu repository.

    InformationsquelleAutor James Gan
  5. 0

    Habe ich erstellt MongoDB-Treiber für Scriptella ETL tool. Es ist erhältlich unter https://github.com/scriptella/scriptella-mongodb.

    Beispiel die Migration von Daten aus der relationalen Tabelle:

    <connection id="out" url="mongodb://localhost/test"  classpath="../lib/scriptella-mongodb-driver.jar:../lib/mongo-java-driver-2.10.1.jar" />

<query connection-id="in">
    SELECT * FROM USERS
    <script connection-id="out">
        {
            operation: 'db.collection.save',
            collection: 'users',
            data: {
                user_id: '?user_id',
                name: '?name'
            }
        }
    </script>
</query>
    InformationsquelleAutor ejboy
  6. 0

    Diesem PHP-Programm überträgt automatisch MongoDB-Datenbank in MySQL,
    Es führt eine Introspektion der Mogno Sammlungen, erstellt MySQL-schema und die Daten überträgt.
    Es tut es nur 1 Ebene tiefer (Ebene 0 und 1), tiefere Schachtelung ist nicht migriert:

    http://my.sociopal.com/sociopaltech/post?id=simple_utility_for_copying_data_from_mongodb_to_mysql_this_is_a_simple_php_program_im_using_in_o_61755

    InformationsquelleAutor Avi Kapuya
  7. 0

    Pentaho DI unterstützt MongoDB liest. Ich bin nicht sicher über die schreibt. Ich würde denken, dass unter Berücksichtigung der zugrunde liegenden Struktur von MongoDB im Gegensatz zu herkömmlichen RDBMS könnten Sie besser dran, sich für eine eigene ETL-Prozess/scripting mit python/java vielleicht eher als off-the-shelf-tools, die vielleicht nicht das tun, was Sie behaupten. Schließlich einer dieser Spieler, die in der BI-ETL-Markt wäre dies auch in Ihrem tool, wenn der Prozess ist ausgereift und getestet mehrere Male für mongoDb

    InformationsquelleAutor Avinash Naganathan
Schreibe einen Kommentar