Am schnellsten Datei-format für read/write-Operationen mit Pandas und/oder Numpy

Ich arbeite seit einer Weile mit sehr großen DataFrames und ich habe mit dem csv-format zum speichern von Eingabedaten und der Ergebnisse. Ich habe bemerkt, dass viel Zeit ins Lesen und schreiben diese Dateien, die, zum Beispiel, dramatisch verlangsamt batch-Verarbeitung von Daten. Ich Frage mich, ob das Datei-format selbst von Bedeutung ist. Gibt es eine
bevorzugte Dateiformat für schnelleres Lesen/schreiben Pandas DataFrames und/oder Numpy-arrays?

InformationsquelleAutor c_david | 2014-04-08
Schreibe einen Kommentar