Was Ist Die Beste Python-Zip-Modul Zum Umgang Mit Großen Dateien?

EDIT: Speziell Kompression und Extraktion Geschwindigkeiten.

Irgendwelche Vorschläge?

Dank

  • haben Sie verglichen die Leistung von zipfile, um die Verwendung von zip - /unzip direkt in der shell?
InformationsquelleAutor Duck | 2009-11-18
  1. 14

    Also machte ich einen random-ish großes zipfile:

    $ ls -l *zip
-rw-r--r--  1 aleax  5000  115749854 Nov 18 19:16 large.zip
$ unzip -l large.zip | wc
   23396   93633 2254735

    d.h., 116 MB mit 23.4 K Dateien und zeitgesteuerte Dinge:

    $ time unzip -d /tmp large.zip >/dev/null

real    0m14.702s
user    0m2.586s
sys         0m5.408s

    dies ist der vom system bereitgestellten commandline unzip binary -- kein Zweifel, wie fein abgestimmt und optimiert als ein reines C-executable. Dann (nach Reinigung /tmp;-)...:

    $ time py26 -c'from zipfile import ZipFile; z=ZipFile("large.zip"); z.extractall("/tmp")'

real    0m13.274s
user    0m5.059s
sys         0m5.166s

    ...und das ist Python mit seiner standard-Bibliothek, die ein wenig mehr Ansprüche an CPU-Zeit, aber über 10% schneller in real, das ist, die verstrichene Zeit.

    Du bist willkommen, wiederholen Sie diese Messungen natürlich (auf einer bestimmten Plattform-wenn es CPU-arm, - e.g eine langsame ARM-chip, dann Python-zusätzliche Anforderungen an CPU-Zeit kann am Ende macht es langsamer -- und Ihre speziellen Zip-Dateien von Interesse, da jedes der großen zipfile wird eine sehr unterschiedliche Mischung und ziemlich vielleicht Leistung). Aber was schlägt mich ist, dass gibt es nicht so viel Platz zum bauen, eine Python-Erweiterung, die viel schneller als der gute, alte zipfile -- da Python mit es besser ist als die pure-C, system-inklusive entpacken!-)

    InformationsquelleAutor Alex Martelli
  2. 5

    Für den Umgang mit großen Dateien, ohne Sie zu laden in den Speicher, verwenden Sie die stream-basierte Methoden in Python-2.6-version von zipfile wie ZipFile.open. Nicht verwenden extract oder extractall es sei denn, Sie haben stark desinfiziert die Dateinamen in der ZIP.

    (Sie verwendet zu haben, um read alle bytes in den Speicher, zu hacken oder um es wie zipstream; diese ist mittlerweile veraltet.)

    • Ich fand die Eröffnung komprimierte Inhalte on-the-fly mit zipfile.open() um tatsächlich etwas schneller als das öffnen der gleichen Anzahl von Dateien aus dem Dateisystem (d.h. extrahiert, die zuvor aus einer .zip-Archiv). Dies ist wahrscheinlich, weil zipfile.open() verwendet, die bereits geöffnet ist .zip und benötigt nicht den overhead der Datei-system-Verzeichnis und öffnen von Datei-Operationen. Disclaimer: ich hatte zu viele kleine Dateien mit einer schwachen Verdichtung. YMMV, bei größeren Dateien oder wenn es nicht so viele Dateien in dem Archiv. Früher habe ich Python 3.5.3.
    InformationsquelleAutor bobince
Schreibe einen Kommentar