Was sind die verschiedenen Anwendungsfälle von joblib versus Gurke?

Hintergrund: ich fange gerade mit scikit-learn, und Lesen Sie am unteren Rand der Seite über joblib, versus Gurke.

kann es interessanter sein, zu verwenden joblib Ersatz von Gurke (joblib.dump & joblib.laden), die effizienter auf große Datenmengen, sondern können nur Gurke auf der Festplatte und nicht auf einen string -

Lese ich diese Q&A auf Gurke,
Häufige Anwendungsfälle für pickle in Python und Frage mich, ob die community hier teilen sich die Unterschiede zwischen joblib und Gurke? Wann sollte man die Verwendung einer über dem anderen?

InformationsquelleAutor msunbot | 2012-09-27
  1. 47

    joblib ist in der Regel deutlich schneller auf große numpy-arrays, da es eine Besondere Behandlung für die array-Puffer numpy datastructure. Zu finden über die details der Implementierung können Sie einen Blick auf die source code. Es kann auch zu komprimieren, dass die Daten on the fly, während das Beizen mit zlib oder lz4.

    joblib macht es auch möglich, die Speicher-map-Daten-buffer einer unkomprimierten joblib-gebeizt numpy-array beim laden der es ermöglicht das freigeben von Speicher zwischen Prozessen.

    Beachten Sie, dass wenn Sie keine Gurke großen numpy-arrays, die dann regelmäßig Gurke deutlich schneller, insbesondere bei großen Sammlungen von kleinen python-Objekte (z.B. eine große dict-str Objekte), weil das pickle-Modul der standard-Bibliothek implementiert in C, während joblib ist reines python.

    Beachten Sie, dass nach PEP 574 (Gurke Protokoll 5) zusammengeführt wird (hoffentlich für Python 3.8), wird es viel effizienter, Gurke großen numpy-arrays unter Verwendung der standard-Bibliothek.

    joblib könnte noch nützlich sein, um Objekte laden geschachtelte numpy-arrays in memory-mapped-Modus mit mmap_mode="r" obwohl.

    • Vielen Dank! Dies ist hilfreich.
    • Bedeutet es, dass wir Joblib über Pickle? Nachteile von Joblib, die wir berücksichtigen sollten? Ich habe gerade gehört, über Joblib vor kurzem, und es klingt für mich interessant.
    • Ich aktualisiert meine Antwort mit Schattenseiten und neue Dinge geschehen in der standard-Bibliothek.
    InformationsquelleAutor ogrisel
  2. 10

    Dank Gunjan, dass er uns dieses Skript! Ich modifizierte es für Python ist3 Ergebnisse

    #comapare pickle loaders
from time import time
import pickle
import os
import _pickle as cPickle
from sklearn.externals import joblib

file = os.path.join(os.path.dirname(os.path.realpath(__file__)), 'database.clf')
t1 = time()
lis = []
d = pickle.load(open(file,"rb"))
print("time for loading file size with pickle", os.path.getsize(file),"KB =>", time()-t1)

t1 = time()
cPickle.load(open(file,"rb"))
print("time for loading file size with cpickle", os.path.getsize(file),"KB =>", time()-t1)

t1 = time()
joblib.load(file)
print("time for loading file size joblib", os.path.getsize(file),"KB =>", time()-t1)

time for loading file size with pickle 79708 KB => 0.16768312454223633
time for loading file size with cpickle 79708 KB => 0.0002372264862060547
time for loading file size joblib 79708 KB => 0.0006849765777587891
    • Cpickle gewinnt noch immer in Python ist3 aus irgendeinem Grund..
    • Gunjan verwendet eine 1154320653 KB pickle-Datei. Könnte eine größere Datei machen einen Unterschied zu Gunsten der joblib?
    InformationsquelleAutor Michael Mano
  3. 5

    Stieß ich auf dieselbe Frage, so ich habe versucht diese (mit Python 2.7), da muss ich laden einer großen Gurke-Datei

    #comapare pickle loaders
from time import time
import pickle
import os
try:
   import cPickle
except:
   print "Cannot import cPickle"
import joblib

t1 = time()
lis = []
d = pickle.load(open("classi.pickle","r"))
print "time for loading file size with pickle", os.path.getsize("classi.pickle"),"KB =>", time()-t1

t1 = time()
cPickle.load(open("classi.pickle","r"))
print "time for loading file size with cpickle", os.path.getsize("classi.pickle"),"KB =>", time()-t1

t1 = time()
joblib.load("classi.pickle")
print "time for loading file size joblib", os.path.getsize("classi.pickle"),"KB =>", time()-t1

    Ausgabe für dieses ist

    time for loading file size with pickle 1154320653 KB => 6.75876188278
time for loading file size with cpickle 1154320653 KB => 52.6876490116
time for loading file size joblib 1154320653 KB => 6.27503800392

    Gemäß dieser joblib funktioniert besser als cPickle und Pickle-Modul aus diesen 3 Modulen. Dank

    • Ich dachte, cpickle, sollte schneller sein als Gurke?
    • Ist dieser benchmark gemacht mit python 3, die verwendet Gurke(Protokoll=3) in der Standardeinstellung (die ist schneller als der Standard in python2)?
    • Dies wurde mit python 2.7
    • os.Pfad.getsize gibt die bytes, nicht kilobytes, also wir reden über eine Datei von ungefähr 1,1 GB (und nicht 1,1 TB wie es scheint, von der Ausgabe)
    InformationsquelleAutor Gunjan
Schreibe einen Kommentar