Exportieren von SQL-Server-Tabelle auf mehrere Teil-Dateien

Ich brauche zu exportieren, eine Recht große SQL-Server-Tabelle ~100GB in eine CSV-Datei. Aber anstatt die Ausgabe einer einzigen csv-Datei, sollte es idealerweise mehrere Dateien sagen wir 10 Dateien mit jeweils 10 GB.

Ich sehe BCP hat eine batch_size argument aber noch schreibt alle Daten in eine einzelne Datei? Gibt es noch andere freie Werkzeuge für das tun, was ich verlange? Entweder dort, wo die Größe der Datei angegeben werden kann, in bytes oder die Anzahl der Zeilen?

Für wenig Kontext ist das so die Daten können kombiniert werden mit anderen Quellen in einen Hive/Hadoop-Plattform, so dass, wenn es gibt bessere Möglichkeiten, den Export der Daten bin ich offen für Vorschläge.

Welche version von SQL Server verwenden Sie?
Seine 2012 enterprise

InformationsquelleAutor Jon | 2013-07-13

6

Ich denke, Sie könnte verwenden von SQL 2012 ist paging-Funktionen OFFSET und FETCH in Verbindung mit bcp:
```
SELECT *
FROM Table
ORDER BY ID --Primary Key
OFFSET 100000001 ROWS
FETCH NEXT 100000000 ROWS ONLY
```
InformationsquelleAutor Hart CO
6

BCP batch_size argument steuert nicht den Ausgang, leider.

Weise, wie ich es getan habe, diese Art der Spaltung:

1 - Einfache, aber nicht reproduzierbare: Erstellen Sie eine Kommando-Datei (.cmd), das einen mehrere BCPs in der Tabelle für eine bestimmte Zeile reicht. Dies ist wahrscheinlich erfordert eine IDENTITY(1,1) basiert Primärschlüssel auf der Tabelle.
```
bcp "SELECT * FROM MyTable WHERE Id BETWEEN 0 AND 10000000" queryout …  
bcp "SELECT * FROM MyTable WHERE Id BETWEEN 10000000 AND 20000000" queryout …   
```
2 - Einfache und wiederholbare, verwendet eine Menge von disk: BCP den gesamten Tisch in einer einzigen Datei, und verwenden Sie split zu schaffen, so viele neue Dateien bei Bedarf mit einer bestimmten Anzahl von bytes in jedem (Hinweis: die Aufteilung von Linien wäre eine bessere Idee IMO). Verwenden Sie 'Cygwin' (GnuWin32 nicht mehr gepflegt) zu installieren split - und andere Dienstprogramme, die Sie wollen.
```
 bcp MyDb.MySchema.MyTable out C:\MyFile.csv -T -w  
 split -b 10737418240 C:\MyFile.csv C:\MySplitFile_  
```
Generiert die folgenden Dateien
```
 C:\MySplitFile_aaa
 C:\MySplitFile_aab
 …
```
3 - Komplex, aber wiederholbar, erfordert möglicherweise unsichere T-SQL: Verwenden Sie die xp_cmdshell - Funktion aufrufen, BCP innerhalb einer gespeicherten Prozedur durchläuft die Tabelle.
```
 DECLARE @loop AS INT;   
 --Use WHILE to loop as needed--   
 DECLARE @sql AS VARCHAR(MAX);   
 --Add code to generate dynamic SQL here--   
 DECLARE @bcp AS VARCHAR(MAX);   
 SELECT @bcp='BCP "'+@sql+'" queryout C:\MyFolder\MyFile_'+@loop+'.csv';   
```
LETZTE ANMERKUNG: Wenn Sie eines NVARCHAR-Felder in Ihren Daten, dann müssen Sie die -w flag und sich bewusst sein, dass die Ausgabe in UTF-16LE. Ich würde stark empfehlen konvertieren, auf UTF-8 mit iconv (von 'Cygwin' wieder), bevor Sie versuchen, etwas zu tun, die in Hadoop.

InformationsquelleAutor Joe Harris

Wenn du hast eine einzige sortierbare Primärschlüssel-Feld, die Sie finden konnte, dass die Tasten definieren die Grenzen der Zeilen, die Sie wollen, dann WÄHLEN Sie einfach die Datensätze mit einer WHERE -, definiert die Grenzen.

Es ist ähnlich zu dem, was Joe legen für die #1, aber Ihr Schlüssel muss nicht zusammenhängend sein, noch numerisch. Das folgende ist ein einfaches Beispiel:

DECLARE @maxrowsperfile AS bigint = 1048576
DECLARE boundaries CURSOR FOR
    SELECT the_sortable_key
    FROM
    (
        SELECT
            the_sortable_key
            , ROW_NUMBER() OVER(ORDER BY the_sortable_key) AS the_row_number
        FROM the_table
    ) AS t
    WHERE the_row_number % @maxrowsperfile = 0

OPEN boundaries

DECLARE @lowerbound AS [key type] = [value A]
DECLARE @upperbound AS [key type] = [value A]

FETCH NEXT FROM boundaries
INTO @upperbound

IF @lowerbound = @upperbound
    PRINT 'bcp "SELECT * FROM the_table" queryout file -w -T'
ELSE
    DECLARE @filecount AS int = 1
    BEGIN
        WHILE @@FETCH_STATUS = 0
        BEGIN
            PRINT 'bcp "SELECT * FROM the_table WHERE key > ' + CAST(@lowerbound AS varchar) + ' AND key <= ' + CAST(@upperbound AS varchar) + ' queryout file_' + CAST(@filecount AS varchar) + ' -w -T'
            SET @filecount = @filecount + 1
            SET @lowerbound = @upperbound
            FETCH NEXT FROM boundaries
            INTO @upperbound
        END
        PRINT 'bcp "SELECT * FROM table WHERE key > ' + CAST(@lowerbound AS varchar) + ' queryout file_' + CAST(@filecount AS varchar) + ' -w -T'

    END
CLOSE boundaries
DEALLOCATE boundaries

InformationsquelleAutor gazzman

1

Ich würde exportieren Sie zuerst die Datei und dann teilen Sie Sie extern. Vorausgesetzt, Sie laufen auf einem Windows-Rechner, es gibt mehrere "free-ware" - tools gibt, die helfen können. Sehen diese andere Antwort auf Superuser für mehr info.

InformationsquelleAutor BellevueBob

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.