Bulk Insert-Sql-Server-Millionen-Rekord

Ich habe einen Windows-Dienst-Anwendung, die Sie empfängt einen Datenstrom, der mit dem folgenden format

IDX|20120512|075659|00000002|3|AALI                 |Astra Agro Lestari Tbk.                                     |0|ORDI_PREOPEN|12  |00000001550.00|00000001291.67|00001574745000|00001574745000|00500|XDS1BXO1|                                        |00001574745000|ݤ
IDX|20120512|075659|00000022|3|ALMI                 |Alumindo Light Metal Industry Tbk.                          |0|ORDI        |33  |00000001300.00|00000001300.00|00000308000000|00000308000000|00500|--U3---2|                                        |00000308000000|õÄ

Diese Daten kommen in Millionen von Zeilen und in der Folge 00000002....00198562 und ich haben zu analysieren, und fügen Sie Sie entsprechend der Reihenfolge in einer Datenbank-Tabelle.

Meine Frage ist, was ist der beste Weg (die effektivste) , fügen Sie diese Daten in meine Datenbank? Ich habe versucht, eine einfache Methode zu öffnen, wird ein SqlConnection-Objekt erzeugen dann ein string der SQL-insert-Skript und dann das Skript ausführen, mit SqlCommand-Objekt, aber diese Methode dauert zu lange.

Ich gelesen, dass ich die Verwendung von Sql BULK INSERT -, aber es hat zum Lesen aus einer Textdatei ist es möglich für dieses Szenario, um mithilfe von BULK INSERT? (Ich habe es nie benutzt, bevor).

Danke

update: ich bin mir dessen bewusst, SqlBulkCopy aber es verlangt von mir zu haben DataTable Erstens ist dies gut für die performance? Wenn möglich möchte ich einfügen direkt aus meiner Datenquelle für SQL Server, ohne dass im Speicher DataTable.

Was meinst du mit "legen Sie die Reihenfolge"? Warum spielt es eine Rolle, in welcher Reihenfolge Sie die Zeilen einfügen? Sie sind gespeichert in der Reihenfolge angegeben, in der gruppierten index, unabhängig davon, insertion um.

InformationsquelleAutor Arief | 2012-05-24

  1. 22

    Wenn Sie schriftlich sind diese in C# vielleicht möchten Sie sich an der SqlBulkCopy Klasse.

    Ermöglichen die effiziente bulk-laden Sie eine SQL Server-Tabelle mit Daten aus einer anderen Quelle.

    😉 Erstaunlich, wie Menschen, die angeblich nie schauen Sie in die Dokumentation - SqlBUlkCopy Art von Quellen, zumindest überprüfen. Hinweis: Es ist trivial (eine Stunde) schreiben Sie ein Programm, dass ermöglicht SqlBulkCopy verwenden, eine Aufzählung von Objekten als Datenquelle 😉
    Hallo Mark, vielen Dank für deine Antwort, ich habe aktualisiert mein Frage. Könnten Sie kommentieren, bitte? danke.
    Siehe @TomTom ' s Kommentar.

    InformationsquelleAutor Mark Byers

  2. 3

    Ersten, download free LumenWorks.Rahmen.IO.Csv - Bibliothek.

    Zweite, verwenden Sie code wie diesen

    StreamReader sr = new TextReader(yourStream);
var sbc = new SqlBulkCopy(connectionString);
sbc.WriteToServer(new LumenWorks.Framework.IO.Csv.CsvReader(sr));

    Yeah, es ist wirklich so einfach.

    Ich war auf der Suche nach einer Bibliothek, die zurecht mit CSV-Felder mit eingebetteten Anführungszeichen und Zeilenumbrüche. Diese CSVReader ist perfekt, leicht und passt in SqlBulkCopy. Ich kann jetzt laden Sie Millionen von Zeilen pro minute mit nur ein paar Zeilen code. Vielen Dank für das teilen.
    Hi, das einfügen von Werten mit einer check? z.B. ich möchte, um zu überprüfen, ob der Datensatz vorhanden ist oder nicht in der db, falls vorhanden, möchte ich anfügen auf andere Tabelle
    Es wird nicht gonna be bulk "einfügen" nicht mehr. Aber eine regelmäßige one-by-one.
    Sie müssen die Verarbeitung der Idee, die Verwendung von bulk insert zu schieben in der Tabelle Ein, Sie können dann eine Verknüpfung auf dem anderen Tisch zu fahren, die Entscheidung, wohin damit; - Datenbanken verwendet werden soll für set-basierte Operationen, die Sie ausführen, richtig schlecht auf die Reihe basiert

    InformationsquelleAutor Vasyl Boroviak

  3. 0

    Können Sie mit dem SSIS-SQL Server Integration Service" Für die Konvertierung der Daten Aus dem Source Data Flow Zu Distination Daten Fließen.
    Quelle Text-Datei und die Ziel-SQL-Server-Tabelle-Datei. und Konvertieren Ausführen der Bulk Insert-Modus.

    Warum ist jedes Wort kapitalisiert?!

    InformationsquelleAutor mehdi lotfi

Schreibe einen Kommentar