Best practices für die einfügen/Aktualisierung einer großen Menge von Daten in SQL Server 2008

Sehen, dass Sie SQL Server 2008 verwenden, würde ich empfehlen, diesen Ansatz:

• ersten bulkcopy Ihre CSV-Dateien in eine staging-Tabelle
• aktualisieren Sie Ihre Ziel-Tabelle aus, die staging-Tabelle mit dem MERGE-Befehl

Check-out die MSDN docs und ein große blog-post auf, wie Sie mit dem MERGE-Befehl.

Grundsätzlich, erstellen Sie eine Verknüpfung zwischen Ihrem eigentlichen Daten-Tabelle und die staging-Tabelle, die auf einer gemeinsamen Kriterien (z.B. einen gemeinsamen Primärschlüssel), und dann können Sie festlegen, was zu tun ist, wenn

• die Zeilen entsprechen, z.B. die Zeile existiert in der Quell-und der Ziel-Tabelle --> normalerweise würden Sie entweder aktualisieren Sie einige Felder, oder ignorieren es einfach alle zusammen
• die Zeile aus der Quelle nicht im Ziel vorhanden sind --> in der Regel ein Fall für eine INSERT -

Hätte man ein MERGE - Anweisung so etwas wie dieses:

MERGE TargetTable AS t
USING SourceTable AS src
ON t.PrimaryKey = src.PrimaryKey

WHEN NOT MATCHED THEN
  INSERT (list OF fields)
  VALUES (list OF values)

WHEN MATCHED THEN
  UPDATE
    SET (list OF SET statements)
;

Natürlich, die ON - Klausel kann sehr viel mehr involviert, wenn nötig. Und natürlich Ihren WHEN Aussagen können auch komplexer sein, z.B.

WHEN MATCHED AND (some other condition) THEN ......

und so weiter.

MERGE ist eine sehr mächtige und sehr nützliche neue Befehl, der in SQL Server 2008 verwenden Sie es, wenn Sie können!

InformationsquelleAutor marc_s

Ihre Methode ist die denkbar schlechteste Lösung. Im Allgemeinen sollten Sie nicht denken in Bezug auf die Schleife durch die Datensätze einzeln. Wir verwendet, um havea ein Unternehmen integrierten import-tool durchläuft, reciords, die es dauern würde, 18-20 Stunden zum laden einer Datei mit über einer million Datensätzen (etwas, dass nicht ein häufiges Vorkommnis, wenn es gebaut wurde, aber das ist eine viele Male am Tag auftreten).

Sehe ich zwei Optionen:
Erste Verwendung von bulk insert zu laden, um eine staging-Tabelle und tun, was clean-up, die Sie tun müssen, um in der Tabelle. Wie sind Sie zu bestimmen, ob der Datensatz alrady existiert? Sie sollten in der Lage sein zu bauen, eine set-basierte Updates durch den Beitritt der staging-Tabelle auf die Felder, die bestimmen, dass das update. Oft habe ich einen Hinzugefügt, eine Spalte, meine staging-Tabelle für die id des Datensatzes übereinstimmt, und aufgefüllt werden, dass über eine Abfrage, dann erfolgt das update. Dann machst du ein insert der Datensätze, die nicht havea entsprechenden id. Wenn Sie zu viele Einträge um alles auf einmal tun, Sie möchten möglicherweise führen Sie in den Reihen (die ja eine Schleife), aber die batches, die erheblich größer sind, als 1 Datensatz zu einem Zeitpunkt (meist beginne ich mit 2000 und dann basierend auf der Zeit, die es dauert, bestimmen, ob ich mehr oder weniger im batch).

Ich denke 2008 hat auch eine merge-Anweisung, aber ich habe noch nicht die chance hatte, es zu benutzen. Schauen Sie in der Onlinedokumentation.

Die alternative ist die Verwendung der SSIS, die auf Geschwindigkeit optimiert. SSIS ist eine komplexe Sache, obwohl, und die Lernkurve ist steil.

InformationsquelleAutor HLGEM

Müssen Sie Ihre eigenen Rollen hier überhaupt? Wäre es möglich, die Daten in einer Weise, die der SQL Server verwenden kann, Massenimport, um es zu laden und dann befassen sich mit Duplikate in der Datenbank, sobald der import abgeschlossen ist?

Wenn es um schweres heben mit einer Menge von Daten, die meiner Erfahrung neigt zu sein, dass in der Datenbank arbeiten, so viel wie möglich, ist viel schneller und weniger ressourcenintensiv.

InformationsquelleAutor glenatron