Tag: etl

ETL ist ein Akronym für Extrahieren, Transformieren und Laden. Es bezieht sich auf den Prozess der Extraktion von Daten aus Quellsystemen, Transformation der Daten in irgendeiner Weise (Manipulation, Filterung, Kombination mit anderen Quellen), und schließlich das laden der transformierten Daten in das Zielsystem(en).

SSIS-FEHLER: Der Versuch, fügen Sie eine Zeile hinzu, um das Datenflusstask-Puffer fehlgeschlagen mit Fehler code 0xC0047020

Anzahl der Antworten 1 Antworten
Habe ich Probleme mit SSIS-Prozess(acctually dem das gleiche problem tritt bei zwei verschiedenen Prozessen). So, wir sind dabei einige ETL-Arbeit mit SSIS. Wir haben Business-Intelligence-Projekt, die ausgeführt wird, ohne Fehler von Visual Studio. Jedoch, wenn Ihr auf

pentaho kettle : Holen Sie sich die Zeilenanzahl von stream

Anzahl der Antworten 2 Antworten
Ich würde gerne die Gesamt-Anzahl der Datensätze, aus der sich die Zeilen von Ergebnis-Ausgabe und dann übergeben es an übergeordneten Auftrag. Irgendwelche Vorschläge ? InformationsquelleAutor Vicky | 2015-08-05

How do you importieren einer Tabelle in DB2?

Anzahl der Antworten 5 Antworten
Ich eine CSV-Datei haben könnte, aber dies gilt für jede txt -, Daten-oder xls-Datei. (xlsx) habe ich den Export der Daten aus einer Quelle, und ich will import der Daten in eine DB2-Tabelle. Zuerst habe ich versucht

docmd.TransferArbeitsblatt-Zugriff --> Excel - / / / / Ziel angeben Arbeitsblatt UND Palette

Anzahl der Antworten 2 Antworten
Ich zu schreiben habe einige Access-VBA exportieren von Daten aus einer Access-Abfrage in einem bestimmten Bereich von Zellen in einem Excel-Dokument mit mehreren Arbeitsblättern. Ich habe Schwierigkeiten, den richtigen Weg zu finden, um anzugeben, die Arbeitsblatt UND

spring batch Vs ETL-Prozess

Anzahl der Antworten 3 Antworten
Ich habe ein Produkt durch die Benutzer erstellen können, die Informationen sagen, Benutzer-Informationen, Mitarbeiter-details usw. Diese Produkt - /web-Anwendung ist developmed in Spring und hibernate hauptsächlich. Nun, wenn ich den Verkauf des Produkts an eine Firma, Sie

Fehlt SSIS-toolbox in Visual Studio 2017

Anzahl der Antworten 1 Antworten
Ich bin mit SQL Server 2014 auf meinem Rechner. Ich habe installiert SSDT für Visual Studio 2017, die ich auch habe. Jetzt bin ich nicht in der Lage, die SSIS Toolbox in mein Visual Studio. Brauche ich,

Ist Alteryx ein ETL-tool? Wie unterscheidet es sich von SSIS?

Anzahl der Antworten 5 Antworten
Meine Kunden wollen mich, implementieren ETL-Prozess mit Alteryx, wie Sie eine Lizenz besitzen. Ich bin verwirrt, ob das Alteryx ist ein ETL-tool ist oder nicht. Ich glaube, dass Alteryx wird Häufig verwendet, um Daten vorzubereiten, Tableau-Daten-Visualisierungs-tool. Bitte

Wie lösche ich in excel Zeilen in SSIS?

Anzahl der Antworten 3 Antworten
Ist es möglich, löschen von Zeilen in einem excel-Arbeitsblatt von SSIS? InformationsquelleAutor James Moore | 2008-10-28

Automatisierung von Prozessen durch das ausführen von excel-VBA-makro in SSIS

Anzahl der Antworten 1 Antworten
Vor kurzem habe ich ein Projekt, einen Prozess automatisieren müssen durch die Kombination von SSIS-Paket und excel-VBA-makro in einem. Unten sind die Schritte: Ich habe ein SSIS-Paket exportieren alle "Ergebnis anzeigen", um mehrere einzelne Datei von sql

Wie können wir die Anzahl der Zeilen in der Talend-jobs

Anzahl der Antworten 1 Antworten
Ich habe ein Szenario, in dem ich nur für meine Arbeit, nur wenn ich die Nummern der Zeilen, die größer als zwei. Ich verwendet MySqlInput und tMap und tLog-Komponenten in meinem job. Bitte werfen Sie einen Blick

ETL SSIS : Umleitung der error-Zeilen in eine separate Tabelle

Anzahl der Antworten 1 Antworten
Arbeite ich an einem Paket, das enthält eine Quelle, die über 80-lookups und 1 Ziel. Den Daten in der Quell-Tabelle ist nicht konsequent genug, und daher mein Paket nicht sehr oft. Gibt es einen Weg, wie kann

Extrahieren ZEIT aus DATETIME - informix

Anzahl der Antworten 3 Antworten
Verloren ich habe einige Stunden suchen, eine Zeile der Lösung und nicht geschafft, es zu finden. Ich habe einige Wert (2013/01/03 07:13:26.000) und ich zu extrahierenden Teil der Zeit zu bekommen diese: 07:13:26 so kann ich speichern

Einfachste Methode zum importieren von CSV in SQl Server 2005

Anzahl der Antworten 1 Antworten
Habe ich mehrere Dateien über 5k jede CSV-Daten brauche ich für den import in SQL Server 2005. Diese verwendet, einfach zu sein mit DTS. Ich habe versucht, für die Verwendung von SSIS zuvor und es schien etwa

Nicht in der Lage zu laufen, den Löffel.Fledermaus oder einen anderen batch-Datei in Pentaho Data Integration (Kettle)

Anzahl der Antworten 5 Antworten
Versucht pdi-ce-4.1.0-stabil und pdi-ce-4.2.0-stabil Meinem Rechner - Windows 7 64-bit Wenn ich mit dem Löffel.bat-cmd-line-Fenster erscheint und wieder verschwindet und dann passiert nichts. Als ich versuchte, führen Sie es von der Kommandozeile aus, bekomme ich DEBUG: Using

SSIS - Skript-Komponente, Split-single-Reihe auf mehrere Zeilen (Eltern-Kind-Variante)

Anzahl der Antworten 1 Antworten
Vielen Dank im Voraus für Ihre Hilfe. Ich brauche Hilfe beim schreiben von SSIS-Skript-Komponente zu begrenzen einzelne Zeile, mehrere Zeilen. Es gab viele hilfreiche blog-und-post-ich schaute unter: http://beyondrelational.com/ask/public/questions/1324/ssis-script-component-split-single-row-to-multiple-rows-parent-child-variation.aspx http://bi-polar23.blogspot.com/2008/06/splitting-delimited-column-in-ssis.html Jedoch brauche ich ein wenig zusätzliche Hilfe auf

import-tab-getrennte txt in Access-Tabelle über VBA

Anzahl der Antworten 1 Antworten
Ich versuche zu importieren, eine tab-getrennte txt-Datei in eine Access-Tabelle über VBA. In meinem code möchte ich einfügen in eine Tabelle, die noch nicht erstellt wurde. Hier ist, was ich versucht habe zu tun. Hinweis - ich

Auto-mapping Ziel-Felder von der Quelle in informatica

Anzahl der Antworten 1 Antworten
Ich hav eine source-Struktur in informatica wie col1 number col2 varchar(40) col3 DATE col4 varchar(50) col5 number und mein Ziel-definition ist wie col4 varchar(50) col1 number col5 number col3 varchar(40) col3 DATE Wenn ich wollen, laden Sie

Ersetzen der Feldnamen bei der Verwendung DictReader

Anzahl der Antworten 2 Antworten
Ich habe eine test.csv Datei: foo,bar,foobar,barfoo 1,2,3,4 5,6,7,8 9,10,11,12 Und die folgenden CSV parser: #!/usr/bin/env python # -*- coding: utf-8 -*- import csv import json f = open ( 'test.csv', 'r' ) reader = csv.DictReader( f, fieldnames

ErrorColumn Wert existiert nicht als Herkunfts-ID

Anzahl der Antworten 3 Antworten
Während der Einfügung in eine Zieltabelle, jeder Fehler, der Auftritt, ist die Weiterleitung von Fehlern Tabelle, wo wir sehen können, die ErrorCode und ErrorColumn. Das problem ist, dass wir einen Wert in ErrorColumn die nicht überall existieren

SSIS - "Externe Tabelle nicht in das erwartete format" und .xls-Dateien

Anzahl der Antworten 2 Antworten
In einem SSIS-ETL-transformation, die ich versuche zu laden, eine gewisse .xls-Datei. Ich habe mehrere identische Dateien, die mit ähnlichen Schemata, und alle von Ihnen korrekt funktionieren. Aber diese Datei wirft die "Externe Tabelle nicht in das erwartete

Wie konfigurieren Sie die Spalte, die Informationen auf einer Flatfile-Verbindungs-manager?

Anzahl der Antworten 3 Antworten
Ich habe eine Flach-Datei-Quelle, ist das Lesen von Daten aus einer flachen Datei. Wir haben vor kurzem eine neue Spalte, um das flat-file. Flat file-Daten eingefügt werden in eine Datenbank-Tabelle. Um Platz für das neue Feld in

MDF-Datei-Größe viel größer als die tatsächlichen Daten

Anzahl der Antworten 4 Antworten
Für einige Grund meine MDF-Datei ist 154gigs, allerdings habe ich nur geladen, 7 gigs im Wert von Daten aus flachen Dateien. Warum ist die MDF-Datei so viel größer als die tatsächliche Quelle der Daten? Mehr info: Nur

Erstellen Sie mehrere Ausgabe-Dateien in Talend basiert auf einer Spalte aus einer SQL-Eingabe

Anzahl der Antworten 3 Antworten
Habe ich die Notwendigkeit der Erstellung mehrerer Ausgabe-Dateien basierend auf einem Wert (Spalte) aus einer sql-Eingabe in Talend Open Studio. Meine tMSSQLInput gibt etwa 50.000 Zeilen, in denen, wo eine der Säulen ist die building_name Gebäude Ein

ETL-tools... was tun Sie eigentlich genau? In laymans Begriffe bitte

Anzahl der Antworten 3 Antworten
Ich habe vor kurzem ausgesetzt einige ETL-tools wie Talend und Apatar und ich Frage mich, was genau der Zweck/Ziel dieser Instrumente ist es, in laymans terms. Wer in Erster Linie nutzt Sie und wenn Sie Sie verwenden,

Wie integriere ich die TFS Source Control mit Business-Intelligence-Studio?

Anzahl der Antworten 4 Antworten
Ich arbeite mit Visual Studio 2010 Ultimate -- die Integration mit TFS source control. Allerdings, wenn ich SQL Server 2008 Business Intelligenz Studio, keine source-control angeboten wird. Wenn ich mir unter Extras... Optionen... Source Control... es gibt

Was ist die definition von Echtzeit, in der Nähe von Echtzeit-und batch? Geben Sie jeweils Beispiele?

Anzahl der Antworten 4 Antworten
Ich versuche zu bekommen eine gute definition von Echtzeit, in der Nähe von Echtzeit-und batch? Ich spreche nicht über sync und async-obwohl für mich sind das unterschiedliche Abmessungen. Hier ist, was ich denke Der Echtzeit sync-web-Dienste oder

Ersetzen fehlender Werte in SAS

Anzahl der Antworten 2 Antworten
Wie wollen Sie ersetzen Sie alle fehlenden Werte mit Nullen in SAS? Ich habe eine text-Datei, die ich dump in SAS zu verarbeiten, einige geo-Daten, aber immer, wenn es einen fehlenden Wert bricht es die Operationen. Gibt

Wie zu Erholen oder Zurücksetzen SSIS-Paket Passwort?

Anzahl der Antworten 7 Antworten
Habe ich ein paar SSIS-Pakete, wurden Passwort-geschützt (Ihre Schutz-level ist offenbar EncryptAllWithPassword) von einem Entwickler, der das Unternehmen verlassen und können nicht mehr erreicht werden, und versuchen, Sie zu öffnen, gibt die folgende Fehlermeldung, da das Passwort

Hinzufügen eines neuen Struct-Spalte, um ein DataFrame

Anzahl der Antworten 2 Antworten
Ich bin gerade dabei, extrahieren Sie eine Datenbank von MongoDB und verwenden von Spark für das Einlesen in ElasticSearch mit geo_points. Den Mongo-Datenbank hat, werden Längen-und Breitengrad-Werte, aber ElasticSearch verlangt, dass Sie gegossen werden in der geo_point

Was ist ein staging-Tabelle?

Anzahl der Antworten 1 Antworten
Sind staging-Tabellen werden verwendet, nur in Data-warehouse-Projekt oder in irgendeiner SSIS Projekt? Ich würde gerne wissen, was ist ein staging-Tabelle? Kann jemand mir einige Beispiele auf, wie es zu benutzen und unter welchen Umständen es umgesetzt wird?

Was ist die effizienteste Methode zum konvertieren eines MySQL-ResultSet in ein NumPy-array?

Anzahl der Antworten 3 Antworten
Ich bin mit MySQLdb und Python. Ich habe einige grundlegenden Fragen wie diese: c=db.cursor() c.execute("SELECT id, rating from video") results = c.fetchall() Brauche ich "Ergebnisse" in ein NumPy-array, und ich bin auf der Suche um wirtschaftlich zu

Gibt es eine einfache Möglichkeit das zu ändern eine Spalte mit ja/Nein 1/0 in ein Pandas dataframe?

Anzahl der Antworten 6 Antworten
Lese ich eine csv Datei in ein pandas dataframe, und möchten, konvertieren Sie die Spalten mit binären Antworten von strings, die ja/Nein-Ganzzahlen von 1/0. Unten zeige ich eine solche Spalten ("sampleDF" ist der pandas dataframe). In [13]:

Laden Sie CSV in die Rotverschiebung, mit header?

Anzahl der Antworten 1 Antworten
Gibt es eine option zum laden einer CSV in die Rotverschiebung mit einem header? Ich finden Sie in der Dokumentation für die CSV aber es sagt nichts über einen header. Im Idealfall könnte es mit dem header

Wie zum extrahieren von Daten aus Google Analytics und bauen ein data warehouse (webhouse) aus?

Anzahl der Antworten 6 Antworten
Habe ich Clickstream-Daten wie die Referrer-URL, top-landing-pages, die top-exit-pages und Metriken wie page Impressions, Anzahl der Besuche, springt alle in Google Analytics. Es gibt keine Datenbank, wo dennoch alle diese Informationen gespeichert werden können. Bin ich verpflichtet

Ist es möglich, relative Pfade für SSIS-Pakete dtsConfig Dateien?

Anzahl der Antworten 4 Antworten
Ich versuche zu machen, die SQL Server Integration Services-Pakete so portabel wie möglich und das einzige, was verhindert wird, ist, dass der Pfad zu den Konfigurationsdateien ist immer ein absoluter Pfad, der macht Tests und der Bereitstellung

SQL Server Management Studio: Import ruhig ignorieren 99,9% der Daten

Anzahl der Antworten 5 Antworten
Das Problem ich versuche zum import von Daten in eine Tabelle mithilfe von SQL Server Management Studio Import Data Aufgabe. Es bringt nur in 26 Zeilen, aus dem ursprünglichen 49,325. (Bearbeiten: das ist, wo es zu 99,9%

DAG(gerichtete azyklische graph) dynamische job-scheduler

Anzahl der Antworten 3 Antworten
Ich brauche die Verwaltung einer großen workflow von ETL-Aufgaben, die Ausführung von der Zeit abhängt, der Verfügbarkeit von Daten oder ein externes Ereignis. Einige jobs können fehlschlagen, während der workflow-Ausführung und das system soll die Fähigkeit haben,

Warum funktioniert meine ODBC-Verbindung fehlschlagen beim ausführen eines SSIS-laden in Visual Studio aber nicht beim laufen das gleiche Paket verwenden von Execute Package Utility

Anzahl der Antworten 1 Antworten
Arbeite ich auf einer Data-Mart-laden Paket im SSIS-2012. Wenn Sie versuchen, das Paket auszuführen, die in Visual Studio bekomme ich diesen Fehler: "Der AcquireConnection-Methode aufrufen, um das Verbindungs-manager-Daten Lager.ssusr fehlgeschlagen mit Fehler code 0xC0014009". Wenn ich testen

Mit Pentaho Kettle, wie lade ich mehrere Tabellen aus einer einzigen Tabelle, während die referenzielle Integrität?

Anzahl der Antworten 1 Antworten
Benötigen Sie zum laden von Daten aus einer einzigen Datei mit mehr als 100.000 Datensätze in mehrere Tabellen auf der MySQL-Aufrechterhaltung der Beziehungen definiert in der Datei/Tabellen; Bedeutung der Beziehungen bereits übereinstimmen. Die Lösung sollte auf die

alter table aktualisieren Sie dann in einzelne Anweisung

Anzahl der Antworten 3 Antworten
Habe ich eine Anforderung, wo ich brauche zu Ändern (Hinzufügen, 2 Spalten) und dann update auf die gleiche Tabelle. Hier ist die Abfrage, die ich habe versucht: ALTER TABLE A ADD c1 int,c2 varchar(10) UPDATE A set

Was ist besser, ETL oder ELT?

Anzahl der Antworten 4 Antworten
Nachdem er einige Zeit arbeiten auf data-warehousing, die ich erstellt habe, sowohl ETL - (extract transform load) und ELT (extract-load-transform) - Verfahren. Es scheint, dass die ELT ist ein neuer Ansatz für das Auffüllen von data warehouses,

Die SSIS-Datenflusstask hängt von der Ausführung der Pre-execute-Phase ab

Anzahl der Antworten 9 Antworten
Habe ich einen Data Flow Task, der hängt auf Ausführung. Der flow ist einfach, macht zwei Abfragen auf verschiedene Tabellen (mit ein paar joins), anschließend sortiert und führt die otuputs durch eine gemeinsame id, fügt eine statische

Java ETL: schwer, einen geeigneten zu finden

Anzahl der Antworten 4 Antworten
Ich bin auf der Suche nach einem einbettbaren Java ETL, d.h., ein Extract Transform Load engine, die aufgerufen werden können, die aus Java-code. Mir fällt es überraschend schwer zu finden, ein passender. Ich bin hauptsächlich auf der

Konvertieren Sie die Excel-Seriennummer in ein reguläres Datum

Anzahl der Antworten 11 Antworten
Habe ich eine Spalte namens " DateOfBirth in meiner csv-Datei mit Excel-Datum-Seriennummer-Datum Beispiel: 36464 37104 35412 Wenn ich die formatierte Zellen in excel diese konvertiert, als 36464 => 1/11/1999 37104 => 1/08/2001 35412 => 13/12/1996 Brauche ich,

SSIS - Der Wert kann wegen eines möglichen Datenverlusts nicht konvertiert werden

Anzahl der Antworten 1 Antworten
Ich bin relativ neu in SSIS. Ich bin versucht, extrahieren von Informationen aus einer Oracle-Datenbank mithilfe von Microsoft OLE DB für Oracle, und ich bin mit dieser Abfrage: SELECT ID FROM Test Bekomme ich eine Fehlermeldung, die

Importieren Sie Excel-Tabellenspalten in die SQL Server-Datenbank

Anzahl der Antworten 15 Antworten
Ich habe eine Excel-Tabelle, die ich importieren möchten, wählen Sie Spalten in meiner SQL-Server-2008-Datenbank-Tabelle. Die Assistenten nicht bieten diese option. Tun, die eine einfache code-Optionen existieren? InformationsquelleAutor der Frage user47206 | 2008-12-17

Kopieren Sie einige Spalten einer CSV-Datei in eine Tabelle

Anzahl der Antworten 6 Antworten
Ich habe eine CSV-Datei mit 10 Spalten. Nach dem erstellen einer PostgreSQL-Tabelle mit 4 Spalten, ich will zu kopieren 10 Spalten in die Tabelle ein. die Spalten meiner CSV-Tabelle werden wie: x1 x2 x3 x4 x5 x6