Tag: etl
ETL ist ein Akronym für Extrahieren, Transformieren und Laden. Es bezieht sich auf den Prozess der Extraktion von Daten aus Quellsystemen, Transformation der Daten in irgendeiner Weise (Manipulation, Filterung, Kombination mit anderen Quellen), und schließlich das laden der transformierten Daten in das Zielsystem(en).
SSIS - "Externe Tabelle nicht in das erwartete format" und .xls-Dateien
2 Antworten
In einem SSIS-ETL-transformation, die ich versuche zu laden, eine gewisse .xls-Datei. Ich habe mehrere identische Dateien, die mit ähnlichen Schemata, und alle von Ihnen korrekt funktionieren. Aber diese Datei wirft die "Externe Tabelle nicht in das erwartete
Wie konfigurieren Sie die Spalte, die Informationen auf einer Flatfile-Verbindungs-manager?
3 Antworten
Ich habe eine Flach-Datei-Quelle, ist das Lesen von Daten aus einer flachen Datei. Wir haben vor kurzem eine neue Spalte, um das flat-file. Flat file-Daten eingefügt werden in eine Datenbank-Tabelle. Um Platz für das neue Feld in
MDF-Datei-Größe viel größer als die tatsächlichen Daten
4 Antworten
Für einige Grund meine MDF-Datei ist 154gigs, allerdings habe ich nur geladen, 7 gigs im Wert von Daten aus flachen Dateien. Warum ist die MDF-Datei so viel größer als die tatsächliche Quelle der Daten? Mehr info: Nur
Erstellen Sie mehrere Ausgabe-Dateien in Talend basiert auf einer Spalte aus einer SQL-Eingabe
3 Antworten
Habe ich die Notwendigkeit der Erstellung mehrerer Ausgabe-Dateien basierend auf einem Wert (Spalte) aus einer sql-Eingabe in Talend Open Studio. Meine tMSSQLInput gibt etwa 50.000 Zeilen, in denen, wo eine der Säulen ist die building_name Gebäude Ein
ETL-tools... was tun Sie eigentlich genau? In laymans Begriffe bitte
3 Antworten
Ich habe vor kurzem ausgesetzt einige ETL-tools wie Talend und Apatar und ich Frage mich, was genau der Zweck/Ziel dieser Instrumente ist es, in laymans terms. Wer in Erster Linie nutzt Sie und wenn Sie Sie verwenden,
Wie integriere ich die TFS Source Control mit Business-Intelligence-Studio?
4 Antworten
Ich arbeite mit Visual Studio 2010 Ultimate -- die Integration mit TFS source control. Allerdings, wenn ich SQL Server 2008 Business Intelligenz Studio, keine source-control angeboten wird. Wenn ich mir unter Extras... Optionen... Source Control... es gibt
Was ist die definition von Echtzeit, in der Nähe von Echtzeit-und batch? Geben Sie jeweils Beispiele?
4 Antworten
Ich versuche zu bekommen eine gute definition von Echtzeit, in der Nähe von Echtzeit-und batch? Ich spreche nicht über sync und async-obwohl für mich sind das unterschiedliche Abmessungen. Hier ist, was ich denke Der Echtzeit sync-web-Dienste oder
Ersetzen fehlender Werte in SAS
2 Antworten
Wie wollen Sie ersetzen Sie alle fehlenden Werte mit Nullen in SAS? Ich habe eine text-Datei, die ich dump in SAS zu verarbeiten, einige geo-Daten, aber immer, wenn es einen fehlenden Wert bricht es die Operationen. Gibt
Wie zu Erholen oder Zurücksetzen SSIS-Paket Passwort?
7 Antworten
Habe ich ein paar SSIS-Pakete, wurden Passwort-geschützt (Ihre Schutz-level ist offenbar EncryptAllWithPassword) von einem Entwickler, der das Unternehmen verlassen und können nicht mehr erreicht werden, und versuchen, Sie zu öffnen, gibt die folgende Fehlermeldung, da das Passwort
Hinzufügen eines neuen Struct-Spalte, um ein DataFrame
2 Antworten
Ich bin gerade dabei, extrahieren Sie eine Datenbank von MongoDB und verwenden von Spark für das Einlesen in ElasticSearch mit geo_points. Den Mongo-Datenbank hat, werden Längen-und Breitengrad-Werte, aber ElasticSearch verlangt, dass Sie gegossen werden in der geo_point
Was ist ein staging-Tabelle?
1 Antworten
Sind staging-Tabellen werden verwendet, nur in Data-warehouse-Projekt oder in irgendeiner SSIS Projekt? Ich würde gerne wissen, was ist ein staging-Tabelle? Kann jemand mir einige Beispiele auf, wie es zu benutzen und unter welchen Umständen es umgesetzt wird?
Was ist die effizienteste Methode zum konvertieren eines MySQL-ResultSet in ein NumPy-array?
3 Antworten
Ich bin mit MySQLdb und Python. Ich habe einige grundlegenden Fragen wie diese: c=db.cursor() c.execute("SELECT id, rating from video") results = c.fetchall() Brauche ich "Ergebnisse" in ein NumPy-array, und ich bin auf der Suche um wirtschaftlich zu
Gibt es eine einfache Möglichkeit das zu ändern eine Spalte mit ja/Nein 1/0 in ein Pandas dataframe?
6 Antworten
Lese ich eine csv Datei in ein pandas dataframe, und möchten, konvertieren Sie die Spalten mit binären Antworten von strings, die ja/Nein-Ganzzahlen von 1/0. Unten zeige ich eine solche Spalten ("sampleDF" ist der pandas dataframe). In [13]:
Laden Sie CSV in die Rotverschiebung, mit header?
1 Antworten
Gibt es eine option zum laden einer CSV in die Rotverschiebung mit einem header? Ich finden Sie in der Dokumentation für die CSV aber es sagt nichts über einen header. Im Idealfall könnte es mit dem header
Wie zum extrahieren von Daten aus Google Analytics und bauen ein data warehouse (webhouse) aus?
6 Antworten
Habe ich Clickstream-Daten wie die Referrer-URL, top-landing-pages, die top-exit-pages und Metriken wie page Impressions, Anzahl der Besuche, springt alle in Google Analytics. Es gibt keine Datenbank, wo dennoch alle diese Informationen gespeichert werden können. Bin ich verpflichtet
Ist es möglich, relative Pfade für SSIS-Pakete dtsConfig Dateien?
4 Antworten
Ich versuche zu machen, die SQL Server Integration Services-Pakete so portabel wie möglich und das einzige, was verhindert wird, ist, dass der Pfad zu den Konfigurationsdateien ist immer ein absoluter Pfad, der macht Tests und der Bereitstellung
SQL Server Management Studio: Import ruhig ignorieren 99,9% der Daten
5 Antworten
Das Problem ich versuche zum import von Daten in eine Tabelle mithilfe von SQL Server Management Studio Import Data Aufgabe. Es bringt nur in 26 Zeilen, aus dem ursprünglichen 49,325. (Bearbeiten: das ist, wo es zu 99,9%
DAG(gerichtete azyklische graph) dynamische job-scheduler
3 Antworten
Ich brauche die Verwaltung einer großen workflow von ETL-Aufgaben, die Ausführung von der Zeit abhängt, der Verfügbarkeit von Daten oder ein externes Ereignis. Einige jobs können fehlschlagen, während der workflow-Ausführung und das system soll die Fähigkeit haben,
Warum funktioniert meine ODBC-Verbindung fehlschlagen beim ausführen eines SSIS-laden in Visual Studio aber nicht beim laufen das gleiche Paket verwenden von Execute Package Utility
1 Antworten
Arbeite ich auf einer Data-Mart-laden Paket im SSIS-2012. Wenn Sie versuchen, das Paket auszuführen, die in Visual Studio bekomme ich diesen Fehler: "Der AcquireConnection-Methode aufrufen, um das Verbindungs-manager-Daten Lager.ssusr fehlgeschlagen mit Fehler code 0xC0014009". Wenn ich testen
Mit Pentaho Kettle, wie lade ich mehrere Tabellen aus einer einzigen Tabelle, während die referenzielle Integrität?
1 Antworten
Benötigen Sie zum laden von Daten aus einer einzigen Datei mit mehr als 100.000 Datensätze in mehrere Tabellen auf der MySQL-Aufrechterhaltung der Beziehungen definiert in der Datei/Tabellen; Bedeutung der Beziehungen bereits übereinstimmen. Die Lösung sollte auf die
alter table aktualisieren Sie dann in einzelne Anweisung
3 Antworten
Habe ich eine Anforderung, wo ich brauche zu Ändern (Hinzufügen, 2 Spalten) und dann update auf die gleiche Tabelle. Hier ist die Abfrage, die ich habe versucht: ALTER TABLE A ADD c1 int,c2 varchar(10) UPDATE A set
Was ist besser, ETL oder ELT?
4 Antworten
Nachdem er einige Zeit arbeiten auf data-warehousing, die ich erstellt habe, sowohl ETL - (extract transform load) und ELT (extract-load-transform) - Verfahren. Es scheint, dass die ELT ist ein neuer Ansatz für das Auffüllen von data warehouses,
Die SSIS-Datenflusstask hängt von der Ausführung der Pre-execute-Phase ab
9 Antworten
Habe ich einen Data Flow Task, der hängt auf Ausführung. Der flow ist einfach, macht zwei Abfragen auf verschiedene Tabellen (mit ein paar joins), anschließend sortiert und führt die otuputs durch eine gemeinsame id, fügt eine statische
Java ETL: schwer, einen geeigneten zu finden
4 Antworten
Ich bin auf der Suche nach einem einbettbaren Java ETL, d.h., ein Extract Transform Load engine, die aufgerufen werden können, die aus Java-code. Mir fällt es überraschend schwer zu finden, ein passender. Ich bin hauptsächlich auf der
Konvertieren Sie die Excel-Seriennummer in ein reguläres Datum
11 Antworten
Habe ich eine Spalte namens " DateOfBirth in meiner csv-Datei mit Excel-Datum-Seriennummer-Datum Beispiel: 36464 37104 35412 Wenn ich die formatierte Zellen in excel diese konvertiert, als 36464 => 1/11/1999 37104 => 1/08/2001 35412 => 13/12/1996 Brauche ich,
SSIS - Der Wert kann wegen eines möglichen Datenverlusts nicht konvertiert werden
1 Antworten
Ich bin relativ neu in SSIS. Ich bin versucht, extrahieren von Informationen aus einer Oracle-Datenbank mithilfe von Microsoft OLE DB für Oracle, und ich bin mit dieser Abfrage: SELECT ID FROM Test Bekomme ich eine Fehlermeldung, die
Importieren Sie Excel-Tabellenspalten in die SQL Server-Datenbank
15 Antworten
Ich habe eine Excel-Tabelle, die ich importieren möchten, wählen Sie Spalten in meiner SQL-Server-2008-Datenbank-Tabelle. Die Assistenten nicht bieten diese option. Tun, die eine einfache code-Optionen existieren? InformationsquelleAutor der Frage user47206 | 2008-12-17
Kopieren Sie einige Spalten einer CSV-Datei in eine Tabelle
6 Antworten
Ich habe eine CSV-Datei mit 10 Spalten. Nach dem erstellen einer PostgreSQL-Tabelle mit 4 Spalten, ich will zu kopieren 10 Spalten in die Tabelle ein. die Spalten meiner CSV-Tabelle werden wie: x1 x2 x3 x4 x5 x6
- 1
- 2