ETL mit Python
Arbeite ich auf einem data warehouse und der Suche nach einer ETL-Lösung mit Python.
Ich habe gespielt mit SnapLogic, wie ein ETL -, aber ich Frage mich, ob es irgendwelche anderen Lösungen gibt.
Dieses data warehouse ist gerade erst gestartet. Ihave nicht gebracht, alle Daten über noch. Es wird leicht sein, über 100 gigs mit der ersten Teilmenge der Daten, die ich laden will hinein.
- Könnten Sie beschreiben, was die Größe des data warehouse du arbeitest? Ist es eine seit langem etablierte Lager, oder ist es gerade erst begonnen?
- Check-out pandas, petl und anderen etl-tools.
- Warum ist die Anforderung "verwendet Python"? Sollten Sie bei der Auswahl der besten Werkzeug für den job.
Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.
Ja. Schreiben Sie einfach mit Python DB-API-Schnittstelle zu Ihrer Datenbank.
Meisten ETL-Programme bieten ausgefallene "high-level-Sprachen" oder mit drag-and-drop-GUI ' s, die nicht viel helfen.
Python ist genauso ausdrucksstark und genauso einfach, mit zu arbeiten.
Meiden Verschleierung. Verwenden Sie einfach plain-old Python.
Wir tun es jeden Tag und wir sind sehr, sehr zufrieden mit den Ergebnissen. Es ist einfach, klar und effektiv.