Split große csv-Datei, indem Sie den Wert einer Spalte in python

Verwenden Sie diese Python 3 Programm:

 #!/usr/bin/env python3
 import binascii
 import csv
 import os.path
 import sys
 from tkinter.filedialog import askopenfilename, askdirectory
 from tkinter.simpledialog import askinteger

 def split_csv_file(f, dst_dir, keyfunc):
     csv_reader = csv.reader(f)
     csv_writers = {}
     for row in csv_reader:
         k = keyfunc(row)
         if k not in csv_writers:
             csv_writers[k] = csv.writer(open(os.path.join(dst_dir, k),
                                              mode='w', newline=''))
         csv_writers[k].writerow(row)

 def get_args_from_cli():
     input_filename = sys.argv[1]
     column = int(sys.argv[2])
     dst_dir = sys.argv[3]
     return (input_filename, column, dst_dir)

 def get_args_from_gui():
     input_filename = askopenfilename(
         filetypes=(('CSV', '.csv'),),
         title='Select CSV Input File')
     column = askinteger('Choose Table Column', 'Table column')
     dst_dir = askdirectory(title='Select Destination Directory')
     return (input_filename, column, dst_dir)

 if __name__ == '__main__':
     if len(sys.argv) == 1:
         input_filename, column, dst_dir = get_args_from_gui()
     elif len(sys.argv) == 4:
         input_filename, column, dst_dir = get_args_from_cli()
     else:
         raise Exception("Invalid number of arguments")
     with open(input_filename, mode='r', newline='') as f:
         split_csv_file(f, dst_dir, lambda r: r[column-1]+'.csv')
         # if the column has funky values resulting in invalid filenames
         # replace the line from above with:
         # split_csv_file(f, dst_dir, lambda r: binascii.b2a_hex(r[column-1].encode('utf-8')).decode('utf-8')+'.csv')

Speichern Sie es als split-csv.py und führen Sie es aus dem Explorer oder aus dem Befehl
Linie.

Zum Beispiel nach split superuser.csv basierend auf Spalte 1 und schreiben Sie die
output-Dateien unter dstdir verwenden:

 python split-csv.py data.csv 1 dstdir

Wenn man es ohne Argumente, ein Tkinter basierende GUI werden Sie aufgefordert,
wählen Sie die input-Datei, die Spalte (1-basierte index) und die
Ziel-Verzeichnis.

ref

Ich vermuten, dass Ihr größter Engpass ist das öffnen und schließen einer Datei-handle jedes mal, wenn ein neuer block von Zeilen. Einen besseren Ansatz, solange die Anzahl der Dateien, die Sie schreiben, ist nicht zu groß, ist zu halten, alle Dateien öffnen. Hier ist ein überblick:

def splitDataFile(self, data_file):
    open_files = dict()
    input_file = open(data_file, "rb")
    try:
        ...
        csv_reader = csv.reader(input_file, ...)
        ...
        for key, rows in groupby(csv_reader, lambda row: (row[1])):
            ...
            try:
                output = open_files[key]
            except KeyError:
                output = open(file_name, "w")
            output.write(...)
            ...
    finally:
        for open_file in open_files.itervalues():
            open_file.close()
        input_file.close()

Natürlich, wenn man nur eine Gruppe mit einer beliebigen Taste, wird das nicht helfen. (Tatsächlich, es kann alles noch schlimmer machen, weil Sie wind-up-holding eine Reihe von Dateien zu öffnen unnötig.) Je mehr du in den wind schreiben, um eine einzelne Datei, desto mehr profitieren Sie bekommen von dieser änderung.

Kombinieren Sie diese mit den pandas, wenn Sie wollen, und das chunking-Funktionen read_csv oder read_table Griff der input-Verarbeitung.