Tag: pickle
Gurke ist ein Objekt-Serialisierung-Modul für Python. Verwenden Sie dieses tag zusammen mit dem Python-tag für Fragen rund um das speichern oder laden von Objekten mit Gurke.
Wie Gurke Keras Modell?
4 Antworten
Offizielle Dokumente besagen, dass "Es wird nicht empfohlen zu verwenden, Gurke oder cPickle zu sparen Keras-Modell". Jedoch mein Bedürfnis nach Beizen Keras Modell stammt aus der hyperparameter Optimierung mit Hilfe sklearn ist RandomizedSearchCV (oder jede andere hyperparameter-Optimierung).
Unpickling python-Objekte mit einem geänderten Modul-Pfad
4 Antworten
Ich versuche zu integrieren, ein Projekt Project A gebaut, von einem Kollegen in ein anderes python-Projekt. Nun ist diese Kollegin nicht verwendet relative Importe in seinem code, sondern stattdessen getan from packageA.moduleA import ClassA from packageA.moduleA import
Gurke , Lesen von Daten , die nicht unterstützte Gurke Protokoll: 3 python 2.7
4 Antworten
Anfänger hier, möchte Lesen Sie in Daten mit der Endung p. Mein code sieht wie folgt aus : import pickle training_file = "/home/sk/CarND-Traffic-Sign-Classifier-Project/train.p" testing_file = "/home/sk/CarND-Traffic-Sign-Classifier-Project/test.p" with open(training_file, mode='rb') as f: train = pickle.load(f) with open(testing_file, mode='rb')
Tipps für das richtig die Verwendung von großen broadcast-Variablen?
1 Antworten
Ich bin mit einem broadcast-variable über 100 MB gebeizt Größe, die ich bin, die Annäherung mit: >>> data = list(range(int(10*1e6))) >>> import cPickle as pickle >>> len(pickle.dumps(data)) 98888896 Läuft auf einem cluster mit 3 c3.2xlarge Vollzieher, und
Laden Sie eine pkl-Datei mit dill
1 Antworten
Ich habe eine sehr komplexe Wörterbuch und Abladen, laden direkt mit dill arbeitet. Dies ist in Bezug auf diese Antwort. Aber es ist eine leichte Modifikation. Brauche ich zum speichern dieser in eine Datei und Lesen Sie
Beizen Django request-Objekte
2 Antworten
Ich versuche, Gurke Objekts ein Anfrage-Objekt so, dass ich meine Ansicht-code in einem debugger bei Gültiger Eingabe. Aber ich bin immer Can't pickle 'lock' object: <thread.lock object at 0x93ad240> Ich schaute durch das request-Objekt, aber nicht finden
Wie installiere Englisch.Gurke für nltk auf einer off-line-Linux-Maschine
3 Antworten
Ich versuche zu laufen nltk auf einem SUSE-Linux-box, die nicht mit dem internet verbunden sein. Habe ich erfolgreich nltk installiert und es läuft aber wenn ich senden >>> tagged = nltk.pos_tag(tokens) Bekomme ich diesen Fehler: LookupError: **********************************************************************
Effiziente Methode zum speichern von Python-Wörterbuch auf der Festplatte?
2 Antworten
Was ist die effizienteste Methode zum speichern von einem Python-Wörterbuch auf der Festplatte? Die einzigen Methoden die ich kenne sind im Moment nur-text und die pickle Modul. Edit: Sorry für die nicht sehr klar. Durch effiziente, ich
Multiprocessing auf Windows bricht
1 Antworten
Entwickle ich mit Python auf Linux und habe es nie wirklich gesehen, diese Art von problem mit Windows. Ich bin mit der multiprocessing Bibliothek zu beschleunigen von Berechnungen, die sehr gut funktioniert für mich auf Linux. Unter
Was ist der Unterschied zwischen __senken__ und __senken_ex__?
2 Antworten
Ich verstehen, dass diese Methoden für Beizen/unpickling und haben keinen Bezug auf die Reduzierung der built-in-Funktion, aber was ist der Unterschied zwischen der 2 und warum brauchen wir beides? InformationsquelleAutor Moe | 2008-09-29
Pyspark: PicklingError: Konnte nicht serialisiert Objekt:
1 Antworten
Habe ich die folgenden zwei data frames: df_whitelist und df_text +-------+--------------------+ |keyword| whitelist_terms | +-------+--------------------+ | LA| LA city| | LA| US LA in da | | client|this client has i...| | client|our client has do...| +-------+--------------------+
Gurke - Load-Variablen, wenn vorhanden, oder erstellen und speichern Sie es
2 Antworten
Gibt es eine bessere Möglichkeit eine variable zu laden, mit pickle wenn es bereits vorhanden ist, oder erstellen Sie es und werfen Sie es, wenn es nicht? if os.path.isfile("var.pickle"): foo = pickle.load( open( "var.pickle", "rb" ) )
Wie kann ich die "Gurke" Instanzen von Django-Modelle in einer Datenbank, die in Beispiel-python-code, den ich verwenden können, um die Beispieldaten laden?
2 Antworten
Wie kann ich die "Gurke" Instanzen von Django-Modelle in einer Datenbank, die in Beispiel-python-code, den ich verwenden können, um die Beispieldaten laden? Ich will: 1) Nehmen Sie einen Schnappschuss von mehreren hundert Datensätze, die ich gespeichert habe
Angriff Python ' s pickle
3 Antworten
Schreibe ich eine web-app, speichert die Benutzereingaben in ein Objekt. Dieses Objekt wird gebeizt. Ist es möglich für einen Benutzer, um Handwerk schädliche Eingaben, die etwas tun könnten ungeheuerlich, wenn das Objekt unpickled? Hier ist eine wirklich
effizienter Weg, um eine Gurke string
4 Antworten
Dem pickle-Modul scheint die Verwendung von string-escape-Zeichen beim Beizen; dies ineffizient z.B. auf numpy arrays. Betrachten Sie die folgenden z = numpy.zeros(1000, numpy.uint8) len(z.dumps()) len(cPickle.dumps(z.dumps())) Den Längen 1133 Zeichen und 4249 Zeichen beziehungsweise. z.dumps() zeigt so etwas
Laden von Daten aus Python-pickle-Datei in einer Schleife?
1 Antworten
In einer kleinen Daten-übernahme-Projekt verwenden wir die Python - pickle zum speichern von aufgezeichneten Daten, d.h. für jedes "event" fügen wir es in die Ausgabe-Datei f mit pkl.dump(event, f, pkl.HIGHEST_PROTOCOL) wo import cPickle as pkl. In der
Gurke vs Ausgabe in eine Datei in python
3 Antworten
Ich habe ein Programm, dass sich die Ausgaben einige Listen, die ich speichern möchten, mit zu arbeiten später. Angenommen, es gibt eine Liste von schülernamen und eine andere Liste Ihrer Zwischenprüfung erzielt. Ich kann speichern Sie diese
Fehler Beizen in Python: io.UnsupportedOperation: Lesen
1 Antworten
Ich versuche zu lernen, wie pickle und speichern Sie ein Objekt in python. Jedoch, wenn ich den Beispiel-code unten bekomme ich die folgende Fehlermeldung: io.UnsupportedOperation: read die Spuren zurück zu favorite_color = pickle.load(f_myfile). Ich finde keine gute
Warum erhalte ich eine Fehlermeldung über meine Klasse definieren __slots__, wenn Sie versuchen zu Gurke ein Objekt?
3 Antworten
Ich versuche, die Gurke ein Objekt einer (neuen Stil) - Klasse I definiert. Aber ich bin immer der folgende Fehler: >>> with open('temp/connection.pickle','w') as f: ... pickle.dump(c,f) ... Traceback (most recent call last): File "<stdin>", line 2,
speichern einer 'lxml.etree._ElementTree' - Objekt
3 Antworten
Ich habe in den letzten paar Tagen Griff zu bekommen mit den Grundlagen von lxml; insbesondere mit lxml.html zum analysieren von websites und erstellen Sie eine ElementTree der Inhalte. Im Idealfall möchte ich speichern Sie das zurückgegebene
Die Speicherung von Python-dictionaries
8 Antworten
Ich bin verwendet, um die Erhebung von Daten in und aus Python mit .csv-Dateien, aber es gibt offensichtliche Herausforderungen für diese. Jede Beratung über einfache Möglichkeiten zum speichern eines Wörterbuchs (oder Sätze von Wörterbuch) in einem json-oder
Wie verwenden Sie dill zum serialisieren einer Klasse definition?
2 Antworten
In der Antwort auf Python pickle: der Umgang mit Klassen-Definitionen aktualisiert, der Autor des dill Paket schreibt: "Ok, ich habe dieses feature zu dill in der neuesten Version auf github. Umgesetzt mit weit weniger Betrug, als ich
kopieren.deepcopy vs Gurke
5 Antworten
Ich habe eine Baum-Struktur des widgets z.B. Sammlung enthält Modelle und Modell enthält widgets. Ich kopieren wollen ganze Kollektion copy.deepcopy ist schneller im Vergleich zu 'pickle und de-Gurke' Ing das Objekt aber cPickle als in C geschrieben
Python pickle Anrufe cPickle?
4 Antworten
Ich bin neu in Python. Ich bin eine Anpassung fremder code von Python 2.X zu 3.5. Der code lädt eine Datei über cPickle. Ich änderte alle "cPickle" Vorgänge "Gurke", wie ich verstehe, Gurke abgelöst cPickle in 3.5.
Wie Gurke eine python-Funktion mit Abhängigkeiten?
5 Antworten
Als follow-up zu dieser Frage: Gibt es eine einfache Möglichkeit, Gurke, eine python-Funktion (oder sonst serialisieren seinen code)? Ich würde gerne sehen, ein Beispiel von dieser Kugel aus dem obigen post: ", Wenn die Funktion Referenzen globals
Nicht laden von Dateien mit pickle und mehrere Module
3 Antworten
Ich versuche einen Benutzer anzulegen-system, die nutzt eine Einstellung und das Gui-Modul, und wenn das GUI-Modul Anfragen für die Datei zu laden, bis mit Gurke, bekomme ich immer ein Attribut Fehler. dies ist aus den Modul Einstellungen:
Sollte ich die Gurke oder cPickle?
2 Antworten
Python hat sowohl die pickle und cPickle Module für die Serialisierung. cPickle hat einen offensichtlichen Vorteil gegenüber pickle: Geschwindigkeit. Was, wenn überhaupt, Vorteil hat pickle haben über cPickle? FYI: ich downvoted Ihre Frage, weil Sie nicht die
_pickle.UnpicklingError: konnte nicht finden, MARK
1 Antworten
Ich bekam Ausnahmen wie UnicodeDecodeError ausgelöst, wenn Beizen (eine Liste) - Objekte von EventFrame mit einem Mitglied Teilnehmer das war eine leere Menge. class EventFrame: """Frame for an event""" def __init__(self, id=0): ... self.participants = set() ...
Pandas Dataframe AttributeError: 'DataFrame' - Objekt hat kein Attribut 'design_info'
1 Antworten
Ich versuche, mit der predict() Funktion der statsmodels.formula.api OLS Umsetzung. Wenn ich den pass eine neue Daten-frame an die Funktion zu erhalten vorhergesagten Werte für eine out-of-sample-Datensatz result.predict(newdf) gibt die folgende Fehlermeldung zurück: 'DataFrame' object has no
Python, wie man mit der "ValueError: nicht unterstützte Gurke Protokoll: 4" Fehler?
1 Antworten
Ich bin neu in Python. Ich habe zum ausführen dieser TargetFinder-Skript ("Benutzerdefinierte Analysen"). Ich installiert alle erforderlichen python-Pakete, und kopiert den code in ein Skript nannte ich main.py, und es lief. Ich habe diesen Fehler: [davide@laptop]$ python
Pickle-Datei zu groß zum laden
3 Antworten
Das problem, das ich habe, ist, dass ich eine sehr große Gurke-Datei (2,6 Gb), die ich versuche zu öffnen, doch jedes mal, wenn ich, so bekomme ich einen Speicherfehler. Ich merke jetzt, dass ich verwendet haben, eine
Wie kann ich dies vermeiden, Beizen Fehler, und was ist der beste Weg zu parallelisieren Sie diesen code in Python?
1 Antworten
Ich habe den folgenden code. def main(): (minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv for i in range(minI, maxI, iStep): for j in range(minJ, maxJ, jStep): p = multiprocessing.Process(target=functionA, args=(minI, minJ)) p.start() def
Was sind die verschiedenen Anwendungsfälle von joblib versus Gurke?
3 Antworten
Hintergrund: ich fange gerade mit scikit-learn, und Lesen Sie am unteren Rand der Seite über joblib, versus Gurke. kann es interessanter sein, zu verwenden joblib Ersatz von Gurke (joblib.dump & joblib.laden), die effizienter auf große Datenmengen, sondern
Python multiprocessing PicklingError: Can ' T pickle <type 'function'>
7 Antworten
Tut mir Leid, dass ich den Fehler reproduzieren können mit einem einfacheren Beispiel, und mein code ist zu kompliziert, zu veröffentlichen. Wenn ich das Programm in der IPython-shell anstelle der regulären Python, alles klappt gut. Ich sah
Was ist der Schnellste Weg, die Gurke ein pandas DataFrame?
2 Antworten
Was ist besser, mit Pandas integrierte Methode oder pickle.dump? Die standard-Gurke-Methode sieht wie folgt aus: pickle.dump(my_dataframe, open('test_pickle.p', 'wb')) Die Pandas gebaut-in-Methode sieht wie folgt aus: my_dataframe.to_pickle('test_pickle.p') warum nicht einfach Teste? Was genau meinst du mit benchmark? Ich
Laden eines großen Wörterbuchs mit python pickle
5 Antworten
Ich habe eine volle invertierte index in form des nested-python-dictionary. Seine Struktur ist : {word : { doc_name : [location_list] } } Zum Beispiel lassen Sie das Wörterbuch aufgerufen werden index, dann für ein Wort "spam" -
Was ist die genaue Verwendung von __senken__ in Pickler
1 Antworten
Ich weiß, dass, um picklable in einer Klasse zu überschreiben __reduce__ Methode, und es muss eine Zeichenkette zurückgeben oder Tupel. Wie funktioniert das Werk? Was die genaue Verwendung der __reduce__? Wann wird es verwendet? InformationsquelleAutor oyjh |
Nicht Gurke defaultdict
7 Antworten
Ich habe eine defaultdict, die wie folgt aussieht: dict1 = defaultdict(lambda: defaultdict(int)) Das problem ist, ich kann keine Gurke es mit cPickle. Eine der Lösung, die ich gefunden hier ist die Verwendung von Modul-level-Funktion anstelle eines lambda.
Wie lese ich binären Gurke zuerst Daten, dann unpickle es?
2 Antworten
Ich bin unpickling eine NetworkX-Objekt, das über 1 GB Größe auf dem Datenträger. Obwohl ich es gespeichert in das binäre format (Protokoll 2), es nimmt eine sehr lange Zeit, um unpickle diese Datei---mindestens eine halbe Stunde. Das
`Gurke`: noch ein weiterer `ImportError: No module named my_module`
2 Antworten
Habe ich eine Klasse MyClass definiert in my_module. MyClass hat eine Methode pickle_myself die Gurken die Instanz der Klasse in Frage: def pickle_myself(self, pkl_file_path): with open(pkl_file_path, 'w+') as f: pkl.dump(self, f, protocol=2) Habe ich sicher gestellt, dass
Wie mein dataset in einem .pkl-Datei genau in dem format und Struktur der Daten, die in "mnist.pkl.gz"?
3 Antworten
Ich versuche, die Theano Bibliothek in python zu tun, einige Experimente mit Deep belief Networks. Ich benutze den code in diese Adresse: DBN vollständige code. Dieser code verwendet die MNIST Handschriftliche Datenbank. Diese Datei ist bereits in
Gurke weigert sich zu serialisieren Inhalte mit Sellerie reporting ContentDisallowed: die Weigerung zu Deserialisieren nicht Vertrauenswürdige Inhalte von Typ-Gurke
1 Antworten
Ich versuche, einige python-Objekt meist json serialisierbar außer datetime.datetime in rabbitmq Warteschlange und so mit pickle serialisieren. celery_config Datei: CELERY_TASK_SERIALIZER = 'pickle' CELERY_RESULT_SERIALIZER = 'pickle' Ist es eine Ausnahme, die sagen: File "/usr/local/lib/python2.7/dist-packages/kombu/serialization.py", line 174, in loads
_pickle in Python ist3 funktioniert nicht für große Daten speichern
3 Antworten
Ich versuche zu gelten _pickle zum speichern von Daten auf Diskette. Aber beim Aufruf _pickle.dump ich bekam eine Fehlermeldung OverflowError: cannot serialize a bytes object larger than 4 GiB Ist dies eine harte Einschränkung zu verwenden _pickle?
Wie kann ich speed up unpickling große Objekte, wenn ich viel RAM?
8 Antworten
Es mich bis zu einer Stunde zu Lesen, eine 1-gigabyte-NetworkX Graphen-Datenstruktur mit cPickle (die 1-GB-wenn gespeichert auf der Festplatte als eine binäre pickle-Datei). Beachten Sie, dass die Datei schnell in den Speicher geladen wird. In anderen Worten,
Wie schließen Sie die Datei nach Gurke.load() in python
2 Antworten
Sparte ich mir ein python-dictionary auf diese Weise: import cPickle as pickle pickle.dump(dictname, open("filename.pkl", "wb")) Und ich laden Sie es in einem anderen Skript auf diese Weise: dictname = pickle.load(open("filename.pkl", "rb")) Wie ist es möglich, die Datei
Wie 'Gurke' ein Objekt in einem bestimmten Verzeichnis?
2 Antworten
Normalerweise ausführen der folgenden code wird Gurke ein Objekt zu einer Datei in meinem current Verzeichnis: fp = open('somefile.txt', 'wb') pickle.dump(object, fp) Wie kann ich re-direct die Ausgabe von pickle.dump in ein anderes Verzeichnis? InformationsquelleAutor Houdini |
ValueError: unsichere string-Gurke
10 Antworten
Wenn ich versuche etwas laden ausgegeben ich mit cPickle, bekomme ich die Fehlermeldung: ValueError: insecure string pickle Sowohl die dumping-und be-arbeiten fertig sind, auf dem gleichen computer, so gleichen OS: Ubuntu 8.04. Wie könnte ich dieses problem
FileNotFoundError beim schreiben einer Pickle-Datei
3 Antworten
Nehme ich alle Dateinamen in einem bestimmten Verzeichnis in ein list möchte und schreiben Sie diese Liste in eine pickle - Datei. Hier ist der code, den ich verwende: import _pickle as pickle with open(filepath+'filenames.pkl', 'wb') as
Warum kann nicht Generatoren werden gebeizt?
2 Antworten
Python ' s pickle (ich Rede hier von standard-Python 2.5/2.6/2.7 hier) nicht Gurke sperren, Datei-Objekte, etc. Es auch keine Gurke Generatoren und lambda-Ausdrücke (oder irgendeiner anderen anonymen code), weil die Gurke wirklich nur speichert Namen Referenzen. Im
Kann nicht finden, Modul cPickle verwenden Python 3.5 und Anaconda
2 Antworten
Ich versuche, mit cPickle auf einem windows-Rechner, die mittels Anaconda. Ich bin mit python 3.5. Ich bin nicht mit einem virtualenv (wenn auch wahrscheinlich sein sollte). Wenn ich versuche zu importieren cPickle bekomme ich "ImportError: No module