Tag: etl

ETL ist ein Akronym für Extrahieren, Transformieren und Laden. Es bezieht sich auf den Prozess der Extraktion von Daten aus Quellsystemen, Transformation der Daten in irgendeiner Weise (Manipulation, Filterung, Kombination mit anderen Quellen), und schließlich das laden der transformierten Daten in das Zielsystem(en).

Kopieren Sie die Ergebnisse aus einer PostgreSQL-Blick in eine DB-Tabelle in eine andere

Anzahl der Antworten 2 Antworten
Komplette PostgreSQL newb. Habe ich 7-8 Ansichten im Wert von Daten im db1, die ich brauche zum kopieren in Tabellen mit einem passenden schemae (Schemata?) in einer anderen Datenbank db2. Das Ziel der Datenbank der gleichen Instanz

ETL-Verarbeitung, Design und Leistung

Anzahl der Antworten 3 Antworten
Arbeite ich an einem ETL-Prozess für data-warehouse auf Basis von C#, und unterstützt sowohl SQL Server und Oracle. Während der Entwicklung habe ich schriftlich gespeicherte Prozeduren, würde die Synchronisierung von Daten aus einer Datenbank in eine andere

SSIS-vs Pentaho

Anzahl der Antworten 2 Antworten
Hat jemand benutzt diese beiden bieten einen guten Vergleich. Ich arbeite gerade an einem Schulprojekt so werden die Kosten der SSIS ist nicht ein Problem, da wir bereits die Lizenz hat. Hintergrund auf whats going on. Ich

Bedingte Zuordnung in Talend

Anzahl der Antworten 3 Antworten
Habe ich einen einfachen job in Talend, die ausgeführt wird, eine innere Verknüpfung der Daten zwischen 2 excel-sheets und dann dump die Ausgabe-excel-Tabelle. Dies kann am besten durch die folgenden Diagramm :- Mapping verwendet in tMap ist

Formale oder Praktische XML-Tag-Länge zu Begrenzen?

Anzahl der Antworten 6 Antworten
Habe ich nicht gefunden, erwähnt eine Grenze xml-tag Länge nach auf das web. Ich bin auf der Suche, um das erstellen von XML-Schemas, die als eine Spezifikation für die 3rd parties zum senden von Daten an uns.

ETL mit Python

Anzahl der Antworten 1 Antworten
Arbeite ich auf einem data warehouse und der Suche nach einer ETL-Lösung mit Python. Ich habe gespielt mit SnapLogic, wie ein ETL -, aber ich Frage mich, ob es irgendwelche anderen Lösungen gibt. Dieses data warehouse ist

Die ETL-tool zu verwenden?

Anzahl der Antworten 1 Antworten
Geschlossen. Diese Frage ist off-topic. Es ist derzeit nicht akzeptieren Antworten. mehr. verbessern Wollen dieser Frage? "Update" die Frage so ist es on-topic für Stack-Überlauf. Geschlossen 5 Jahren. Ich bin mit Oracle als Datenbank. Wir haben beschlossen,

Erstellen einer ETL mit SQL Server 2008 R2 Express

Anzahl der Antworten 2 Antworten
Ich habe vor kurzem installiert die neueste version von SQL Server (2008 R2 x64) und versuche nun meinen ersten Schritte zum erstellen einer ETL. Ist es möglich, zu erstellen, ETL mit SQL Server 2008 R2 Express, und

Oracle OLE DB-Anbieter nicht Aufgeführt ist in SSIS

Anzahl der Antworten 1 Antworten
Ich habe ein Problem mit SSIS und VS2015 CM. Ich habe ein Paket, das muss connetc mit Oracle, um einige Daten. Ich installierte die ODAC für Win64 und der Oracle-client, aber ich kann nicht finden Sie in

löschen Arbeitsblatt aus .xlsm Datei

Anzahl der Antworten 1 Antworten
Ich versuche zum löschen eines benannten Arbeitsblatts aus einer .xlsm Datei. Folgte ich dem Beispiel gepostet hier aber es ist nicht für mich arbeiten. Wenn ich öffnen Sie die .xlsm Datei, um zu prüfen, ob das Arbeitsblatt

MongoDB ETL (php/java...)

Anzahl der Antworten 7 Antworten
Gibt es eine ETL für MongoDB ?... Können Sie das konkretisieren? Was ist das format der Daten, die Sie möchten, zu extrahieren, transformieren und laden in mongodb in MongoDb? InformationsquelleAutor Omar | 2011-03-26

Kann ich die unit-test-Informatica Powercentre workflows?

Anzahl der Antworten 3 Antworten
Kann ich unit test Informatica Powercentre workflows? EDIT: Genauer gesagt, kann ich verspotte Quellen-und Ziel-und test-Schritte dazwischen? ZB. Wenn ich einen workflow mit Oracle Quell-und einer Ziel-Textdatei kann ich es testen ohne Oracle-und eine text-Datei.? InformationsquelleAutor Peter

sql-server: kann ich einfügen $ in eine Geld-Feld

Anzahl der Antworten 5 Antworten
ich bin zum einfügen von Werten wie '$5.99' (oder versuchen, einfügen) in eine money Feld. er mag nicht die Dollar-Zeichen ich bin eigentlich ein bulk insert aus einer csv-Datei. eine der Spalten in der csv-Datei money mit

Gewusst wie: Abfragen mehrerer Tabellen mit einer Eingabe in Talend?

Anzahl der Antworten 3 Antworten
Für ein Vereinfachtes Beispiel, ich habe eine DB2Input -> tMap -> DB2Output. In der DB2Input schrieb ich eine Abfrage, die Daten aus zwei Tabellen. Bekomme ich die Warnung: Parameter(query): Schema unterscheidet sich von der Abfrage. Tun, brauche

SSIS-Fehler: Trennzeichen für die Spalte "columnX" nicht gefunden

Anzahl der Antworten 4 Antworten
Diese Frage wurde hier gestellt, bevor, aber die vorgeschlagenen Lösungen scheinen nicht zu funktionieren für mich. Ich versuche, eine Textdatei importieren pipe-delimited-text-Kennzeichner ". Das SSIS-Paket ist wieder die Fehlermeldung Trennzeichen für die Spalte "columnX" nicht gefunden wo

Python - CSV: Große Datei mit Zeilen unterschiedlicher Länge

Anzahl der Antworten 4 Antworten
Kurzum, ich habe ein 20,000,000 Zeile csv-Datei unterschiedliche Zeilen Länge. Dies ist aufgrund der archaischen Datenlogger und proprietäre Formate. Wir bekommen das Ergebnis als csv-Datei im folgenden format ein. MEIN Ziel ist, fügen Sie diese Datei in

Wie zu installieren, Pentaho DI CE 5 auf centos

Anzahl der Antworten 1 Antworten
Ich versuche zu installieren Pentaho communitty edition auf centos 6 Hier http://sourceforge.net/projects/pentaho/files/Data%20Integration/5.0.1-stable/pdi-ce-5.0.1.A-stable.zip/download Nun in der installtion mnaual Sie sagen, dass dies http://infocenter.pentaho.com/help/index.jsp?topic=%2Finstall_pdi%2Fconcept_archive_pdi_instal.html Linux: ./install.sh Aber es gibt keine install.sh Datei in data-integration-Ordner InformationsquelleAutor user1994660 | 2014-03-06

Was ist der beste Weg zum speichern von XML-Daten auf SQL Server?

Anzahl der Antworten 5 Antworten
Gibt es einen direkten Weg, der ziemlich geradlinig? (d.h. Sie können SQL Server-XML Lesen) Oder, ist es am besten Parsen der XML-und nur in der üblichen Weise über ADO.Net entweder als einzelne Zeilen oder vielleicht ein batch-update?

So Entfernen Sie die nicht-alpha-numerischen oder nicht-numerischen Zeichen mit Hive REGEXP_EXTRACT () - Funktion

Anzahl der Antworten 1 Antworten
Ich habe versucht, herauszufinden, wie zu entfernen mehrere nicht alphanumerische oder nicht-alphanumerische Zeichen, oder nur die Rückkehr numerische Zeichen aus einem string. Ich habe versucht: SELECT regexp_extract('X789', '[0-9]', 0) FROM table_name Aber es kehrt '7', nicht '789'.

SSIS - wie Sie eine Verbindungszeichenfolge für Ihre Datenbank-server?

Anzahl der Antworten 2 Antworten
Wie mache ich einen connection-string für meine Datenbank-server ? Ich möchte dies wissen, damit ich sparen kann, Verbindungs-Zeichenfolgen in eine Tabelle und verwenden Sie Sie dann später. Hinweis - Alle meine Datenbank-Server nicht brauchen, Passwort und Benutzername.

ETL-Optionen mit Postgres

Anzahl der Antworten 2 Antworten
Derzeit haben wir Lager unsere postgres-db mit Hilfe von SSIS, aber es gibt bestimmte Dinge, die wir nicht tun können, zum Beispiel mit einer ADO.Net provider ist es nicht möglich, Parameter in einer Datenquelle des data-flow-Komponente, die

Open-Source-ETL-framework

Anzahl der Antworten 3 Antworten
Wurde ich gebeten, einen Prototyp für zwei ETL-frameworks. Die Anforderungen sind wie folgt: Open-Source - Zur Verfügung, um Linux - Gepflegt Protokolle können eingesehen werden auf der web-browser (schön zu haben) Geschrieben, in Perl -, Python -,

Einfachste Möglichkeit zum extrahieren von SharePoint-Listendaten in einem separaten SQL-Server-Tabelle?

Anzahl der Antworten 12 Antworten
Bearbeitet: Was ist der einfachste Weg, um zu kratzen extrahieren SharePoint-Liste Daten in eine separate SQL Server-Tabelle? Einzige Bedingung: Sie sind in einem Arbeitsumfeld, in dem Sie keine Kontrolle über die SQL-Server hinter dem SharePoint-Server, so kann

Wie Konfiguriere ich Pentaho Kettle-repository-Ordner und/oder SVN-repository mit Wasserkocher ETL-Skripten?

Anzahl der Antworten 2 Antworten
Ich bin ein Neuling auf Wasserkocher und etwas Hilfe brauchen, setzen Sie es richtig. Ich bin versucht, darauf Wasserkocher in einem SVN-repository. Für jetzt, ich habe nur die folgenden Ordner. D:\ETL\data-integration\ D:\ETL\.kettle\ D:\ETL\Kettle-custom\ D:\ETL\scripts\ D:\ETL\logs\ Daten-integration-Ordner extrahiert

Was ist die gewünschte Sprache Kenntnisse Informatica effektiv?

Anzahl der Antworten 3 Antworten
In den nächsten Wochen mein Unternehmen Fühlung mit mehreren Anbietern zu etablieren, die eine Entscheidung für eine gemeinsame Globale ETL-tool - nicht unbedingt eine, die nicht gebrochen werden können, aber nur dort, wo unsere Lizenz-Investitionen gehen zu

How do you importieren einer Tabelle in DB2?

Anzahl der Antworten 5 Antworten
Ich eine CSV-Datei haben könnte, aber dies gilt für jede txt -, Daten-oder xls-Datei. (xlsx) habe ich den Export der Daten aus einer Quelle, und ich will import der Daten in eine DB2-Tabelle. Zuerst habe ich versucht

Wie legen Sie die Abhängigkeiten zwischen DAGs im Luftstrom?

Anzahl der Antworten 2 Antworten
Ich bin mit Luftstrom, um batch-jobs planen. Ich habe ein DAG (A), ausgeführt wird und jede Nacht ein anderes DAG (B), der läuft einmal pro Monat. B hängt mit erfolgreich abgeschlossen. Aber B nimmt eine lange Zeit

Wie kann ich das beheben 'Ungültiger Zeichenwert für Konvertierungsangabe' auf eine date-Spalte in der flat file?

Anzahl der Antworten 3 Antworten
Ich habe eine CSV-Datei mit einem {LF} Abgrenzung von jeder Zeile und ein Spalte Datum mit dem format " Datum, als "12/20/2010" (einschließlich Anführungszeichen) Mein Ziel-Spalte in einer SQL Server 2008 Datenbank-Tabelle vom Typ Datum (nicht datetime)

Wie kann ich die split-flat-file-Daten und laden Sie in parent-child-Tabellen in der Datenbank?

Anzahl der Antworten 2 Antworten
Habe ich denormalisierte Daten (aus einer Datei), die importiert werden müssen, in Eltern-Kind-Tabellen. Die Quelle der Daten ist so etwas wie dieses: Account# Name Membership Email 101 J Burns Gold [email protected] 101 J Burns Gold [email protected] 101

Gewusst wie: exportieren von text-Daten aus einer SQL Server-Tabelle?

Anzahl der Antworten 3 Antworten
Ich versuche, verwenden Sie den MS SQL Server 2005-Import/Export-Tools so exportieren Sie eine Tabelle, so kann ich zum import in eine andere Datenbank für die Archivierung. Eine der Spalten ist text also, wenn ich den export als

Wie zum hinzufügen von Bibliotheken von Drittanbietern zur Talend-Projekt?

Anzahl der Antworten 3 Antworten
Wie hinzufügen von Drittanbieter-Bibliotheken (jar-Dateien) einer Talend-Projekt ? Eine weitere Frage ist, Jede Talend component verwendet LogFactory, aber in meinem Fall ist es das werfen java.lang.NoClassDefFoundError: org.apache.commons.logging.LogFactory at ... mit tSetGlobalVar Komponente, wie kann ich machen verwenden

SSIS-FEHLER: Der Versuch, fügen Sie eine Zeile hinzu, um das Datenflusstask-Puffer fehlgeschlagen mit Fehler code 0xC0047020

Anzahl der Antworten 1 Antworten
Habe ich Probleme mit SSIS-Prozess(acctually dem das gleiche problem tritt bei zwei verschiedenen Prozessen). So, wir sind dabei einige ETL-Arbeit mit SSIS. Wir haben Business-Intelligence-Projekt, die ausgeführt wird, ohne Fehler von Visual Studio. Jedoch, wenn Ihr auf

pentaho kettle : Holen Sie sich die Zeilenanzahl von stream

Anzahl der Antworten 2 Antworten
Ich würde gerne die Gesamt-Anzahl der Datensätze, aus der sich die Zeilen von Ergebnis-Ausgabe und dann übergeben es an übergeordneten Auftrag. Irgendwelche Vorschläge ? InformationsquelleAutor Vicky | 2015-08-05

How do you importieren einer Tabelle in DB2?

Anzahl der Antworten 5 Antworten
Ich eine CSV-Datei haben könnte, aber dies gilt für jede txt -, Daten-oder xls-Datei. (xlsx) habe ich den Export der Daten aus einer Quelle, und ich will import der Daten in eine DB2-Tabelle. Zuerst habe ich versucht

docmd.TransferArbeitsblatt-Zugriff --> Excel - / / / / Ziel angeben Arbeitsblatt UND Palette

Anzahl der Antworten 2 Antworten
Ich zu schreiben habe einige Access-VBA exportieren von Daten aus einer Access-Abfrage in einem bestimmten Bereich von Zellen in einem Excel-Dokument mit mehreren Arbeitsblättern. Ich habe Schwierigkeiten, den richtigen Weg zu finden, um anzugeben, die Arbeitsblatt UND

spring batch Vs ETL-Prozess

Anzahl der Antworten 3 Antworten
Ich habe ein Produkt durch die Benutzer erstellen können, die Informationen sagen, Benutzer-Informationen, Mitarbeiter-details usw. Diese Produkt - /web-Anwendung ist developmed in Spring und hibernate hauptsächlich. Nun, wenn ich den Verkauf des Produkts an eine Firma, Sie

Fehlt SSIS-toolbox in Visual Studio 2017

Anzahl der Antworten 1 Antworten
Ich bin mit SQL Server 2014 auf meinem Rechner. Ich habe installiert SSDT für Visual Studio 2017, die ich auch habe. Jetzt bin ich nicht in der Lage, die SSIS Toolbox in mein Visual Studio. Brauche ich,

Ist Alteryx ein ETL-tool? Wie unterscheidet es sich von SSIS?

Anzahl der Antworten 5 Antworten
Meine Kunden wollen mich, implementieren ETL-Prozess mit Alteryx, wie Sie eine Lizenz besitzen. Ich bin verwirrt, ob das Alteryx ist ein ETL-tool ist oder nicht. Ich glaube, dass Alteryx wird Häufig verwendet, um Daten vorzubereiten, Tableau-Daten-Visualisierungs-tool. Bitte

Wie lösche ich in excel Zeilen in SSIS?

Anzahl der Antworten 3 Antworten
Ist es möglich, löschen von Zeilen in einem excel-Arbeitsblatt von SSIS? InformationsquelleAutor James Moore | 2008-10-28

Automatisierung von Prozessen durch das ausführen von excel-VBA-makro in SSIS

Anzahl der Antworten 1 Antworten
Vor kurzem habe ich ein Projekt, einen Prozess automatisieren müssen durch die Kombination von SSIS-Paket und excel-VBA-makro in einem. Unten sind die Schritte: Ich habe ein SSIS-Paket exportieren alle "Ergebnis anzeigen", um mehrere einzelne Datei von sql

Wie können wir die Anzahl der Zeilen in der Talend-jobs

Anzahl der Antworten 1 Antworten
Ich habe ein Szenario, in dem ich nur für meine Arbeit, nur wenn ich die Nummern der Zeilen, die größer als zwei. Ich verwendet MySqlInput und tMap und tLog-Komponenten in meinem job. Bitte werfen Sie einen Blick

ETL SSIS : Umleitung der error-Zeilen in eine separate Tabelle

Anzahl der Antworten 1 Antworten
Arbeite ich an einem Paket, das enthält eine Quelle, die über 80-lookups und 1 Ziel. Den Daten in der Quell-Tabelle ist nicht konsequent genug, und daher mein Paket nicht sehr oft. Gibt es einen Weg, wie kann

Extrahieren ZEIT aus DATETIME - informix

Anzahl der Antworten 3 Antworten
Verloren ich habe einige Stunden suchen, eine Zeile der Lösung und nicht geschafft, es zu finden. Ich habe einige Wert (2013/01/03 07:13:26.000) und ich zu extrahierenden Teil der Zeit zu bekommen diese: 07:13:26 so kann ich speichern

Einfachste Methode zum importieren von CSV in SQl Server 2005

Anzahl der Antworten 1 Antworten
Habe ich mehrere Dateien über 5k jede CSV-Daten brauche ich für den import in SQL Server 2005. Diese verwendet, einfach zu sein mit DTS. Ich habe versucht, für die Verwendung von SSIS zuvor und es schien etwa

Nicht in der Lage zu laufen, den Löffel.Fledermaus oder einen anderen batch-Datei in Pentaho Data Integration (Kettle)

Anzahl der Antworten 5 Antworten
Versucht pdi-ce-4.1.0-stabil und pdi-ce-4.2.0-stabil Meinem Rechner - Windows 7 64-bit Wenn ich mit dem Löffel.bat-cmd-line-Fenster erscheint und wieder verschwindet und dann passiert nichts. Als ich versuchte, führen Sie es von der Kommandozeile aus, bekomme ich DEBUG: Using

SSIS - Skript-Komponente, Split-single-Reihe auf mehrere Zeilen (Eltern-Kind-Variante)

Anzahl der Antworten 1 Antworten
Vielen Dank im Voraus für Ihre Hilfe. Ich brauche Hilfe beim schreiben von SSIS-Skript-Komponente zu begrenzen einzelne Zeile, mehrere Zeilen. Es gab viele hilfreiche blog-und-post-ich schaute unter: http://beyondrelational.com/ask/public/questions/1324/ssis-script-component-split-single-row-to-multiple-rows-parent-child-variation.aspx http://bi-polar23.blogspot.com/2008/06/splitting-delimited-column-in-ssis.html Jedoch brauche ich ein wenig zusätzliche Hilfe auf

import-tab-getrennte txt in Access-Tabelle über VBA

Anzahl der Antworten 1 Antworten
Ich versuche zu importieren, eine tab-getrennte txt-Datei in eine Access-Tabelle über VBA. In meinem code möchte ich einfügen in eine Tabelle, die noch nicht erstellt wurde. Hier ist, was ich versucht habe zu tun. Hinweis - ich

Auto-mapping Ziel-Felder von der Quelle in informatica

Anzahl der Antworten 1 Antworten
Ich hav eine source-Struktur in informatica wie col1 number col2 varchar(40) col3 DATE col4 varchar(50) col5 number und mein Ziel-definition ist wie col4 varchar(50) col1 number col5 number col3 varchar(40) col3 DATE Wenn ich wollen, laden Sie

Ersetzen der Feldnamen bei der Verwendung DictReader

Anzahl der Antworten 2 Antworten
Ich habe eine test.csv Datei: foo,bar,foobar,barfoo 1,2,3,4 5,6,7,8 9,10,11,12 Und die folgenden CSV parser: #!/usr/bin/env python # -*- coding: utf-8 -*- import csv import json f = open ( 'test.csv', 'r' ) reader = csv.DictReader( f, fieldnames

ErrorColumn Wert existiert nicht als Herkunfts-ID

Anzahl der Antworten 3 Antworten
Während der Einfügung in eine Zieltabelle, jeder Fehler, der Auftritt, ist die Weiterleitung von Fehlern Tabelle, wo wir sehen können, die ErrorCode und ErrorColumn. Das problem ist, dass wir einen Wert in ErrorColumn die nicht überall existieren