Tag: etl

ETL ist ein Akronym für Extrahieren, Transformieren und Laden. Es bezieht sich auf den Prozess der Extraktion von Daten aus Quellsystemen, Transformation der Daten in irgendeiner Weise (Manipulation, Filterung, Kombination mit anderen Quellen), und schließlich das laden der transformierten Daten in das Zielsystem(en).

Wie konfigurieren Sie die Spalte, die Informationen auf einer Flatfile-Verbindungs-manager?

Anzahl der Antworten 3 Antworten
Ich habe eine Flach-Datei-Quelle, ist das Lesen von Daten aus einer flachen Datei. Wir haben vor kurzem eine neue Spalte, um das flat-file. Flat file-Daten eingefügt werden in eine Datenbank-Tabelle. Um Platz für das neue Feld in

MDF-Datei-Größe viel größer als die tatsächlichen Daten

Anzahl der Antworten 4 Antworten
Für einige Grund meine MDF-Datei ist 154gigs, allerdings habe ich nur geladen, 7 gigs im Wert von Daten aus flachen Dateien. Warum ist die MDF-Datei so viel größer als die tatsächliche Quelle der Daten? Mehr info: Nur

Erstellen Sie mehrere Ausgabe-Dateien in Talend basiert auf einer Spalte aus einer SQL-Eingabe

Anzahl der Antworten 3 Antworten
Habe ich die Notwendigkeit der Erstellung mehrerer Ausgabe-Dateien basierend auf einem Wert (Spalte) aus einer sql-Eingabe in Talend Open Studio. Meine tMSSQLInput gibt etwa 50.000 Zeilen, in denen, wo eine der Säulen ist die building_name Gebäude Ein

ETL-tools... was tun Sie eigentlich genau? In laymans Begriffe bitte

Anzahl der Antworten 3 Antworten
Ich habe vor kurzem ausgesetzt einige ETL-tools wie Talend und Apatar und ich Frage mich, was genau der Zweck/Ziel dieser Instrumente ist es, in laymans terms. Wer in Erster Linie nutzt Sie und wenn Sie Sie verwenden,

Wie integriere ich die TFS Source Control mit Business-Intelligence-Studio?

Anzahl der Antworten 4 Antworten
Ich arbeite mit Visual Studio 2010 Ultimate -- die Integration mit TFS source control. Allerdings, wenn ich SQL Server 2008 Business Intelligenz Studio, keine source-control angeboten wird. Wenn ich mir unter Extras... Optionen... Source Control... es gibt

Was ist die definition von Echtzeit, in der Nähe von Echtzeit-und batch? Geben Sie jeweils Beispiele?

Anzahl der Antworten 4 Antworten
Ich versuche zu bekommen eine gute definition von Echtzeit, in der Nähe von Echtzeit-und batch? Ich spreche nicht über sync und async-obwohl für mich sind das unterschiedliche Abmessungen. Hier ist, was ich denke Der Echtzeit sync-web-Dienste oder

Ersetzen fehlender Werte in SAS

Anzahl der Antworten 2 Antworten
Wie wollen Sie ersetzen Sie alle fehlenden Werte mit Nullen in SAS? Ich habe eine text-Datei, die ich dump in SAS zu verarbeiten, einige geo-Daten, aber immer, wenn es einen fehlenden Wert bricht es die Operationen. Gibt

Wie zu Erholen oder Zurücksetzen SSIS-Paket Passwort?

Anzahl der Antworten 7 Antworten
Habe ich ein paar SSIS-Pakete, wurden Passwort-geschützt (Ihre Schutz-level ist offenbar EncryptAllWithPassword) von einem Entwickler, der das Unternehmen verlassen und können nicht mehr erreicht werden, und versuchen, Sie zu öffnen, gibt die folgende Fehlermeldung, da das Passwort

Hinzufügen eines neuen Struct-Spalte, um ein DataFrame

Anzahl der Antworten 2 Antworten
Ich bin gerade dabei, extrahieren Sie eine Datenbank von MongoDB und verwenden von Spark für das Einlesen in ElasticSearch mit geo_points. Den Mongo-Datenbank hat, werden Längen-und Breitengrad-Werte, aber ElasticSearch verlangt, dass Sie gegossen werden in der geo_point

Was ist ein staging-Tabelle?

Anzahl der Antworten 1 Antworten
Sind staging-Tabellen werden verwendet, nur in Data-warehouse-Projekt oder in irgendeiner SSIS Projekt? Ich würde gerne wissen, was ist ein staging-Tabelle? Kann jemand mir einige Beispiele auf, wie es zu benutzen und unter welchen Umständen es umgesetzt wird?

Was ist die effizienteste Methode zum konvertieren eines MySQL-ResultSet in ein NumPy-array?

Anzahl der Antworten 3 Antworten
Ich bin mit MySQLdb und Python. Ich habe einige grundlegenden Fragen wie diese: c=db.cursor() c.execute("SELECT id, rating from video") results = c.fetchall() Brauche ich "Ergebnisse" in ein NumPy-array, und ich bin auf der Suche um wirtschaftlich zu

Gibt es eine einfache Möglichkeit das zu ändern eine Spalte mit ja/Nein 1/0 in ein Pandas dataframe?

Anzahl der Antworten 6 Antworten
Lese ich eine csv Datei in ein pandas dataframe, und möchten, konvertieren Sie die Spalten mit binären Antworten von strings, die ja/Nein-Ganzzahlen von 1/0. Unten zeige ich eine solche Spalten ("sampleDF" ist der pandas dataframe). In [13]:

Laden Sie CSV in die Rotverschiebung, mit header?

Anzahl der Antworten 1 Antworten
Gibt es eine option zum laden einer CSV in die Rotverschiebung mit einem header? Ich finden Sie in der Dokumentation für die CSV aber es sagt nichts über einen header. Im Idealfall könnte es mit dem header

Wie zum extrahieren von Daten aus Google Analytics und bauen ein data warehouse (webhouse) aus?

Anzahl der Antworten 6 Antworten
Habe ich Clickstream-Daten wie die Referrer-URL, top-landing-pages, die top-exit-pages und Metriken wie page Impressions, Anzahl der Besuche, springt alle in Google Analytics. Es gibt keine Datenbank, wo dennoch alle diese Informationen gespeichert werden können. Bin ich verpflichtet

Ist es möglich, relative Pfade für SSIS-Pakete dtsConfig Dateien?

Anzahl der Antworten 4 Antworten
Ich versuche zu machen, die SQL Server Integration Services-Pakete so portabel wie möglich und das einzige, was verhindert wird, ist, dass der Pfad zu den Konfigurationsdateien ist immer ein absoluter Pfad, der macht Tests und der Bereitstellung

SQL Server Management Studio: Import ruhig ignorieren 99,9% der Daten

Anzahl der Antworten 5 Antworten
Das Problem ich versuche zum import von Daten in eine Tabelle mithilfe von SQL Server Management Studio Import Data Aufgabe. Es bringt nur in 26 Zeilen, aus dem ursprünglichen 49,325. (Bearbeiten: das ist, wo es zu 99,9%

DAG(gerichtete azyklische graph) dynamische job-scheduler

Anzahl der Antworten 3 Antworten
Ich brauche die Verwaltung einer großen workflow von ETL-Aufgaben, die Ausführung von der Zeit abhängt, der Verfügbarkeit von Daten oder ein externes Ereignis. Einige jobs können fehlschlagen, während der workflow-Ausführung und das system soll die Fähigkeit haben,

Warum funktioniert meine ODBC-Verbindung fehlschlagen beim ausführen eines SSIS-laden in Visual Studio aber nicht beim laufen das gleiche Paket verwenden von Execute Package Utility

Anzahl der Antworten 1 Antworten
Arbeite ich auf einer Data-Mart-laden Paket im SSIS-2012. Wenn Sie versuchen, das Paket auszuführen, die in Visual Studio bekomme ich diesen Fehler: "Der AcquireConnection-Methode aufrufen, um das Verbindungs-manager-Daten Lager.ssusr fehlgeschlagen mit Fehler code 0xC0014009". Wenn ich testen

Mit Pentaho Kettle, wie lade ich mehrere Tabellen aus einer einzigen Tabelle, während die referenzielle Integrität?

Anzahl der Antworten 1 Antworten
Benötigen Sie zum laden von Daten aus einer einzigen Datei mit mehr als 100.000 Datensätze in mehrere Tabellen auf der MySQL-Aufrechterhaltung der Beziehungen definiert in der Datei/Tabellen; Bedeutung der Beziehungen bereits übereinstimmen. Die Lösung sollte auf die

alter table aktualisieren Sie dann in einzelne Anweisung

Anzahl der Antworten 3 Antworten
Habe ich eine Anforderung, wo ich brauche zu Ändern (Hinzufügen, 2 Spalten) und dann update auf die gleiche Tabelle. Hier ist die Abfrage, die ich habe versucht: ALTER TABLE A ADD c1 int,c2 varchar(10) UPDATE A set