Tag: etl
ETL ist ein Akronym für Extrahieren, Transformieren und Laden. Es bezieht sich auf den Prozess der Extraktion von Daten aus Quellsystemen, Transformation der Daten in irgendeiner Weise (Manipulation, Filterung, Kombination mit anderen Quellen), und schließlich das laden der transformierten Daten in das Zielsystem(en).
2
Antworten
Komplette PostgreSQL newb. Habe ich 7-8 Ansichten im Wert von Daten im db1, die ich brauche zum kopieren in Tabellen mit einem passenden schemae (Schemata?) in einer anderen Datenbank db2. Das Ziel der Datenbank der gleichen Instanz
3
Antworten
Arbeite ich an einem ETL-Prozess für data-warehouse auf Basis von C#, und unterstützt sowohl SQL Server und Oracle. Während der Entwicklung habe ich schriftlich gespeicherte Prozeduren, würde die Synchronisierung von Daten aus einer Datenbank in eine andere
2
Antworten
Hat jemand benutzt diese beiden bieten einen guten Vergleich. Ich arbeite gerade an einem Schulprojekt so werden die Kosten der SSIS ist nicht ein Problem, da wir bereits die Lizenz hat. Hintergrund auf whats going on. Ich
3
Antworten
Habe ich einen einfachen job in Talend, die ausgeführt wird, eine innere Verknüpfung der Daten zwischen 2 excel-sheets und dann dump die Ausgabe-excel-Tabelle. Dies kann am besten durch die folgenden Diagramm :- Mapping verwendet in tMap ist
6
Antworten
Habe ich nicht gefunden, erwähnt eine Grenze xml-tag Länge nach auf das web. Ich bin auf der Suche, um das erstellen von XML-Schemas, die als eine Spezifikation für die 3rd parties zum senden von Daten an uns.
1
Antworten
Arbeite ich auf einem data warehouse und der Suche nach einer ETL-Lösung mit Python. Ich habe gespielt mit SnapLogic, wie ein ETL -, aber ich Frage mich, ob es irgendwelche anderen Lösungen gibt. Dieses data warehouse ist
1
Antworten
Geschlossen. Diese Frage ist off-topic. Es ist derzeit nicht akzeptieren Antworten. mehr. verbessern Wollen dieser Frage? "Update" die Frage so ist es on-topic für Stack-Überlauf. Geschlossen 5 Jahren. Ich bin mit Oracle als Datenbank. Wir haben beschlossen,
2
Antworten
Ich habe vor kurzem installiert die neueste version von SQL Server (2008 R2 x64) und versuche nun meinen ersten Schritte zum erstellen einer ETL. Ist es möglich, zu erstellen, ETL mit SQL Server 2008 R2 Express, und
1
Antworten
Ich habe ein Problem mit SSIS und VS2015 CM. Ich habe ein Paket, das muss connetc mit Oracle, um einige Daten. Ich installierte die ODAC für Win64 und der Oracle-client, aber ich kann nicht finden Sie in
1
Antworten
Ich versuche zum löschen eines benannten Arbeitsblatts aus einer .xlsm Datei. Folgte ich dem Beispiel gepostet hier aber es ist nicht für mich arbeiten. Wenn ich öffnen Sie die .xlsm Datei, um zu prüfen, ob das Arbeitsblatt
7
Antworten
Gibt es eine ETL für MongoDB ?... Können Sie das konkretisieren? Was ist das format der Daten, die Sie möchten, zu extrahieren, transformieren und laden in mongodb in MongoDb? InformationsquelleAutor Omar | 2011-03-26
3
Antworten
Kann ich unit test Informatica Powercentre workflows? EDIT: Genauer gesagt, kann ich verspotte Quellen-und Ziel-und test-Schritte dazwischen? ZB. Wenn ich einen workflow mit Oracle Quell-und einer Ziel-Textdatei kann ich es testen ohne Oracle-und eine text-Datei.? InformationsquelleAutor Peter
5
Antworten
ich bin zum einfügen von Werten wie '$5.99' (oder versuchen, einfügen) in eine money Feld. er mag nicht die Dollar-Zeichen ich bin eigentlich ein bulk insert aus einer csv-Datei. eine der Spalten in der csv-Datei money mit
3
Antworten
Für ein Vereinfachtes Beispiel, ich habe eine DB2Input -> tMap -> DB2Output. In der DB2Input schrieb ich eine Abfrage, die Daten aus zwei Tabellen. Bekomme ich die Warnung: Parameter(query): Schema unterscheidet sich von der Abfrage. Tun, brauche
4
Antworten
Diese Frage wurde hier gestellt, bevor, aber die vorgeschlagenen Lösungen scheinen nicht zu funktionieren für mich. Ich versuche, eine Textdatei importieren pipe-delimited-text-Kennzeichner ". Das SSIS-Paket ist wieder die Fehlermeldung Trennzeichen für die Spalte "columnX" nicht gefunden wo
4
Antworten
Kurzum, ich habe ein 20,000,000 Zeile csv-Datei unterschiedliche Zeilen Länge. Dies ist aufgrund der archaischen Datenlogger und proprietäre Formate. Wir bekommen das Ergebnis als csv-Datei im folgenden format ein. MEIN Ziel ist, fügen Sie diese Datei in
1
Antworten
Ich versuche zu installieren Pentaho communitty edition auf centos 6 Hier http://sourceforge.net/projects/pentaho/files/Data%20Integration/5.0.1-stable/pdi-ce-5.0.1.A-stable.zip/download Nun in der installtion mnaual Sie sagen, dass dies http://infocenter.pentaho.com/help/index.jsp?topic=%2Finstall_pdi%2Fconcept_archive_pdi_instal.html Linux: ./install.sh Aber es gibt keine install.sh Datei in data-integration-Ordner InformationsquelleAutor user1994660 | 2014-03-06
5
Antworten
Gibt es einen direkten Weg, der ziemlich geradlinig? (d.h. Sie können SQL Server-XML Lesen) Oder, ist es am besten Parsen der XML-und nur in der üblichen Weise über ADO.Net entweder als einzelne Zeilen oder vielleicht ein batch-update?
1
Antworten
Ich habe versucht, herauszufinden, wie zu entfernen mehrere nicht alphanumerische oder nicht-alphanumerische Zeichen, oder nur die Rückkehr numerische Zeichen aus einem string. Ich habe versucht: SELECT regexp_extract('X789', '[0-9]', 0) FROM table_name Aber es kehrt '7', nicht '789'.
2
Antworten
Wie mache ich einen connection-string für meine Datenbank-server ? Ich möchte dies wissen, damit ich sparen kann, Verbindungs-Zeichenfolgen in eine Tabelle und verwenden Sie Sie dann später. Hinweis - Alle meine Datenbank-Server nicht brauchen, Passwort und Benutzername.
2
Antworten
Derzeit haben wir Lager unsere postgres-db mit Hilfe von SSIS, aber es gibt bestimmte Dinge, die wir nicht tun können, zum Beispiel mit einer ADO.Net provider ist es nicht möglich, Parameter in einer Datenquelle des data-flow-Komponente, die
3
Antworten
Wurde ich gebeten, einen Prototyp für zwei ETL-frameworks. Die Anforderungen sind wie folgt: Open-Source - Zur Verfügung, um Linux - Gepflegt Protokolle können eingesehen werden auf der web-browser (schön zu haben) Geschrieben, in Perl -, Python -,
12
Antworten
Bearbeitet: Was ist der einfachste Weg, um zu kratzen extrahieren SharePoint-Liste Daten in eine separate SQL Server-Tabelle? Einzige Bedingung: Sie sind in einem Arbeitsumfeld, in dem Sie keine Kontrolle über die SQL-Server hinter dem SharePoint-Server, so kann
2
Antworten
Ich bin ein Neuling auf Wasserkocher und etwas Hilfe brauchen, setzen Sie es richtig. Ich bin versucht, darauf Wasserkocher in einem SVN-repository. Für jetzt, ich habe nur die folgenden Ordner. D:\ETL\data-integration\ D:\ETL\.kettle\ D:\ETL\Kettle-custom\ D:\ETL\scripts\ D:\ETL\logs\ Daten-integration-Ordner extrahiert
3
Antworten
In den nächsten Wochen mein Unternehmen Fühlung mit mehreren Anbietern zu etablieren, die eine Entscheidung für eine gemeinsame Globale ETL-tool - nicht unbedingt eine, die nicht gebrochen werden können, aber nur dort, wo unsere Lizenz-Investitionen gehen zu
5
Antworten
Ich eine CSV-Datei haben könnte, aber dies gilt für jede txt -, Daten-oder xls-Datei. (xlsx) habe ich den Export der Daten aus einer Quelle, und ich will import der Daten in eine DB2-Tabelle. Zuerst habe ich versucht
2
Antworten
Ich bin mit Luftstrom, um batch-jobs planen. Ich habe ein DAG (A), ausgeführt wird und jede Nacht ein anderes DAG (B), der läuft einmal pro Monat. B hängt mit erfolgreich abgeschlossen. Aber B nimmt eine lange Zeit
3
Antworten
Ich habe eine CSV-Datei mit einem {LF} Abgrenzung von jeder Zeile und ein Spalte Datum mit dem format " Datum, als "12/20/2010" (einschließlich Anführungszeichen) Mein Ziel-Spalte in einer SQL Server 2008 Datenbank-Tabelle vom Typ Datum (nicht datetime)
2
Antworten
Habe ich denormalisierte Daten (aus einer Datei), die importiert werden müssen, in Eltern-Kind-Tabellen. Die Quelle der Daten ist so etwas wie dieses: Account# Name Membership Email 101 J Burns Gold
[email protected] 101 J Burns Gold
[email protected] 101
3
Antworten
Ich versuche, verwenden Sie den MS SQL Server 2005-Import/Export-Tools so exportieren Sie eine Tabelle, so kann ich zum import in eine andere Datenbank für die Archivierung. Eine der Spalten ist text also, wenn ich den export als
3
Antworten
Wie hinzufügen von Drittanbieter-Bibliotheken (jar-Dateien) einer Talend-Projekt ? Eine weitere Frage ist, Jede Talend component verwendet LogFactory, aber in meinem Fall ist es das werfen java.lang.NoClassDefFoundError: org.apache.commons.logging.LogFactory at ... mit tSetGlobalVar Komponente, wie kann ich machen verwenden
1
Antworten
Habe ich Probleme mit SSIS-Prozess(acctually dem das gleiche problem tritt bei zwei verschiedenen Prozessen). So, wir sind dabei einige ETL-Arbeit mit SSIS. Wir haben Business-Intelligence-Projekt, die ausgeführt wird, ohne Fehler von Visual Studio. Jedoch, wenn Ihr auf
2
Antworten
Ich würde gerne die Gesamt-Anzahl der Datensätze, aus der sich die Zeilen von Ergebnis-Ausgabe und dann übergeben es an übergeordneten Auftrag. Irgendwelche Vorschläge ? InformationsquelleAutor Vicky | 2015-08-05
5
Antworten
Ich eine CSV-Datei haben könnte, aber dies gilt für jede txt -, Daten-oder xls-Datei. (xlsx) habe ich den Export der Daten aus einer Quelle, und ich will import der Daten in eine DB2-Tabelle. Zuerst habe ich versucht
2
Antworten
Ich zu schreiben habe einige Access-VBA exportieren von Daten aus einer Access-Abfrage in einem bestimmten Bereich von Zellen in einem Excel-Dokument mit mehreren Arbeitsblättern. Ich habe Schwierigkeiten, den richtigen Weg zu finden, um anzugeben, die Arbeitsblatt UND
3
Antworten
Ich habe ein Produkt durch die Benutzer erstellen können, die Informationen sagen, Benutzer-Informationen, Mitarbeiter-details usw. Diese Produkt - /web-Anwendung ist developmed in Spring und hibernate hauptsächlich. Nun, wenn ich den Verkauf des Produkts an eine Firma, Sie
1
Antworten
Ich bin mit SQL Server 2014 auf meinem Rechner. Ich habe installiert SSDT für Visual Studio 2017, die ich auch habe. Jetzt bin ich nicht in der Lage, die SSIS Toolbox in mein Visual Studio. Brauche ich,
5
Antworten
Meine Kunden wollen mich, implementieren ETL-Prozess mit Alteryx, wie Sie eine Lizenz besitzen. Ich bin verwirrt, ob das Alteryx ist ein ETL-tool ist oder nicht. Ich glaube, dass Alteryx wird Häufig verwendet, um Daten vorzubereiten, Tableau-Daten-Visualisierungs-tool. Bitte
3
Antworten
Ist es möglich, löschen von Zeilen in einem excel-Arbeitsblatt von SSIS? InformationsquelleAutor James Moore | 2008-10-28
1
Antworten
Vor kurzem habe ich ein Projekt, einen Prozess automatisieren müssen durch die Kombination von SSIS-Paket und excel-VBA-makro in einem. Unten sind die Schritte: Ich habe ein SSIS-Paket exportieren alle "Ergebnis anzeigen", um mehrere einzelne Datei von sql
1
Antworten
Ich habe ein Szenario, in dem ich nur für meine Arbeit, nur wenn ich die Nummern der Zeilen, die größer als zwei. Ich verwendet MySqlInput und tMap und tLog-Komponenten in meinem job. Bitte werfen Sie einen Blick
1
Antworten
Arbeite ich an einem Paket, das enthält eine Quelle, die über 80-lookups und 1 Ziel. Den Daten in der Quell-Tabelle ist nicht konsequent genug, und daher mein Paket nicht sehr oft. Gibt es einen Weg, wie kann
3
Antworten
Verloren ich habe einige Stunden suchen, eine Zeile der Lösung und nicht geschafft, es zu finden. Ich habe einige Wert (2013/01/03 07:13:26.000) und ich zu extrahierenden Teil der Zeit zu bekommen diese: 07:13:26 so kann ich speichern
1
Antworten
Habe ich mehrere Dateien über 5k jede CSV-Daten brauche ich für den import in SQL Server 2005. Diese verwendet, einfach zu sein mit DTS. Ich habe versucht, für die Verwendung von SSIS zuvor und es schien etwa
5
Antworten
Versucht pdi-ce-4.1.0-stabil und pdi-ce-4.2.0-stabil Meinem Rechner - Windows 7 64-bit Wenn ich mit dem Löffel.bat-cmd-line-Fenster erscheint und wieder verschwindet und dann passiert nichts. Als ich versuchte, führen Sie es von der Kommandozeile aus, bekomme ich DEBUG: Using
1
Antworten
Vielen Dank im Voraus für Ihre Hilfe. Ich brauche Hilfe beim schreiben von SSIS-Skript-Komponente zu begrenzen einzelne Zeile, mehrere Zeilen. Es gab viele hilfreiche blog-und-post-ich schaute unter: http://beyondrelational.com/ask/public/questions/1324/ssis-script-component-split-single-row-to-multiple-rows-parent-child-variation.aspx http://bi-polar23.blogspot.com/2008/06/splitting-delimited-column-in-ssis.html Jedoch brauche ich ein wenig zusätzliche Hilfe auf
1
Antworten
Ich versuche zu importieren, eine tab-getrennte txt-Datei in eine Access-Tabelle über VBA. In meinem code möchte ich einfügen in eine Tabelle, die noch nicht erstellt wurde. Hier ist, was ich versucht habe zu tun. Hinweis - ich
1
Antworten
Ich hav eine source-Struktur in informatica wie col1 number col2 varchar(40) col3 DATE col4 varchar(50) col5 number und mein Ziel-definition ist wie col4 varchar(50) col1 number col5 number col3 varchar(40) col3 DATE Wenn ich wollen, laden Sie
2
Antworten
Ich habe eine test.csv Datei: foo,bar,foobar,barfoo 1,2,3,4 5,6,7,8 9,10,11,12 Und die folgenden CSV parser: #!/usr/bin/env python # -*- coding: utf-8 -*- import csv import json f = open ( 'test.csv', 'r' ) reader = csv.DictReader( f, fieldnames
3
Antworten
Während der Einfügung in eine Zieltabelle, jeder Fehler, der Auftritt, ist die Weiterleitung von Fehlern Tabelle, wo wir sehen können, die ErrorCode und ErrorColumn. Das problem ist, dass wir einen Wert in ErrorColumn die nicht überall existieren