Serialisierung eines pandas DataFrame

Gibt es eine schnelle Möglichkeit der Serialisierung eines DataFrame?

Habe ich ein grid-system ausgeführt werden können pandas Analyse parallel. Am Ende, ich will sammeln alle Ergebnisse (als DataFrame) aus jeder grid-job und aggregieren Sie Sie in einen riesigen DataFrame.

Wie kann ich das speichern von Daten-Rahmen in einem binären format geladen werden können, rasch?

Siehe Frage stackoverflow.com/questions/12772498/...
Nice blog post mit timings/Diskussionen zu den verschiedenen I/O Optionen

InformationsquelleAutor James Bond | 2013-06-06

pandas python

16

Der einfachste Weg ist nur zu verwenden, to_pickle (als Gurke), siehe Beizen aus den api-docs-Seite:
```
df.to_pickle(file_name)
```
Eine weitere option ist die Verwendung Im HDF5, etwas mehr Arbeit begonnen, ist aber viel reicher für die Abfrage.
- Ihre docs anscheinend brauchen einige arbeiten. Die .save() Methode hat absolut keine Beschreibung.
- Ich habe gemerkt, als ich war auf der Suche nach einem link... 🙁
- Dieser zu sein scheint, das beste raus...
- FWIW speichern wird geändert in to_pickle in pandas 0.12.
- Bitte beachten Sie Python-3 - Können pickle Griff byte Objekte, die größer sind als 4 GB?
- pd.read_pickle(file)
InformationsquelleAutor Andy Hayden
5

DataFrame.to_msgpack ist experimentell und nicht ohne einige Probleme, z.B. mit Unicode, aber es ist viel schneller als Beizen. Es serialisiert ein dataframe mit 5 Millionen Zeilen, dass war 2-3 Gb Arbeitsspeicher in etwa 2 Sekunden lang gedrückt, und die resultierende Datei war etwa 750 Mb. Laden ist etwas langsamer, aber immer noch weit schneller als unpickling.

InformationsquelleAutor osa
1

Müssen die zeitlich verfügbaren io-Funktionen? Binäre ist nicht automatisch schneller und im HDF5 sollte Recht schnell zu meinem wissen.

InformationsquelleAutor Achim

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.