Tag: pickle
Gurke ist ein Objekt-Serialisierung-Modul für Python. Verwenden Sie dieses tag zusammen mit dem Python-tag für Fragen rund um das speichern oder laden von Objekten mit Gurke.
4
Antworten
Offizielle Dokumente besagen, dass "Es wird nicht empfohlen zu verwenden, Gurke oder cPickle zu sparen Keras-Modell". Jedoch mein Bedürfnis nach Beizen Keras Modell stammt aus der hyperparameter Optimierung mit Hilfe sklearn ist RandomizedSearchCV (oder jede andere hyperparameter-Optimierung).
4
Antworten
Ich versuche zu integrieren, ein Projekt Project A gebaut, von einem Kollegen in ein anderes python-Projekt. Nun ist diese Kollegin nicht verwendet relative Importe in seinem code, sondern stattdessen getan from packageA.moduleA import ClassA from packageA.moduleA import
4
Antworten
Anfänger hier, möchte Lesen Sie in Daten mit der Endung p. Mein code sieht wie folgt aus : import pickle training_file = "/home/sk/CarND-Traffic-Sign-Classifier-Project/train.p" testing_file = "/home/sk/CarND-Traffic-Sign-Classifier-Project/test.p" with open(training_file, mode='rb') as f: train = pickle.load(f) with open(testing_file, mode='rb')
1
Antworten
Ich bin mit einem broadcast-variable über 100 MB gebeizt Größe, die ich bin, die Annäherung mit: >>> data = list(range(int(10*1e6))) >>> import cPickle as pickle >>> len(pickle.dumps(data)) 98888896 Läuft auf einem cluster mit 3 c3.2xlarge Vollzieher, und
1
Antworten
Ich habe eine sehr komplexe Wörterbuch und Abladen, laden direkt mit dill arbeitet. Dies ist in Bezug auf diese Antwort. Aber es ist eine leichte Modifikation. Brauche ich zum speichern dieser in eine Datei und Lesen Sie
2
Antworten
Ich versuche, Gurke Objekts ein Anfrage-Objekt so, dass ich meine Ansicht-code in einem debugger bei Gültiger Eingabe. Aber ich bin immer Can't pickle 'lock' object: <thread.lock object at 0x93ad240> Ich schaute durch das request-Objekt, aber nicht finden
3
Antworten
Ich versuche zu laufen nltk auf einem SUSE-Linux-box, die nicht mit dem internet verbunden sein. Habe ich erfolgreich nltk installiert und es läuft aber wenn ich senden >>> tagged = nltk.pos_tag(tokens) Bekomme ich diesen Fehler: LookupError: **********************************************************************
2
Antworten
Was ist die effizienteste Methode zum speichern von einem Python-Wörterbuch auf der Festplatte? Die einzigen Methoden die ich kenne sind im Moment nur-text und die pickle Modul. Edit: Sorry für die nicht sehr klar. Durch effiziente, ich
1
Antworten
Entwickle ich mit Python auf Linux und habe es nie wirklich gesehen, diese Art von problem mit Windows. Ich bin mit der multiprocessing Bibliothek zu beschleunigen von Berechnungen, die sehr gut funktioniert für mich auf Linux. Unter
2
Antworten
Ich verstehen, dass diese Methoden für Beizen/unpickling und haben keinen Bezug auf die Reduzierung der built-in-Funktion, aber was ist der Unterschied zwischen der 2 und warum brauchen wir beides? InformationsquelleAutor Moe | 2008-09-29
1
Antworten
Habe ich die folgenden zwei data frames: df_whitelist und df_text +-------+--------------------+ |keyword| whitelist_terms | +-------+--------------------+ | LA| LA city| | LA| US LA in da | | client|this client has i...| | client|our client has do...| +-------+--------------------+
2
Antworten
Gibt es eine bessere Möglichkeit eine variable zu laden, mit pickle wenn es bereits vorhanden ist, oder erstellen Sie es und werfen Sie es, wenn es nicht? if os.path.isfile("var.pickle"): foo = pickle.load( open( "var.pickle", "rb" ) )
2
Antworten
Wie kann ich die "Gurke" Instanzen von Django-Modelle in einer Datenbank, die in Beispiel-python-code, den ich verwenden können, um die Beispieldaten laden? Ich will: 1) Nehmen Sie einen Schnappschuss von mehreren hundert Datensätze, die ich gespeichert habe
3
Antworten
Schreibe ich eine web-app, speichert die Benutzereingaben in ein Objekt. Dieses Objekt wird gebeizt. Ist es möglich für einen Benutzer, um Handwerk schädliche Eingaben, die etwas tun könnten ungeheuerlich, wenn das Objekt unpickled? Hier ist eine wirklich
4
Antworten
Dem pickle-Modul scheint die Verwendung von string-escape-Zeichen beim Beizen; dies ineffizient z.B. auf numpy arrays. Betrachten Sie die folgenden z = numpy.zeros(1000, numpy.uint8) len(z.dumps()) len(cPickle.dumps(z.dumps())) Den Längen 1133 Zeichen und 4249 Zeichen beziehungsweise. z.dumps() zeigt so etwas
1
Antworten
In einer kleinen Daten-übernahme-Projekt verwenden wir die Python - pickle zum speichern von aufgezeichneten Daten, d.h. für jedes "event" fügen wir es in die Ausgabe-Datei f mit pkl.dump(event, f, pkl.HIGHEST_PROTOCOL) wo import cPickle as pkl. In der
3
Antworten
Ich habe ein Programm, dass sich die Ausgaben einige Listen, die ich speichern möchten, mit zu arbeiten später. Angenommen, es gibt eine Liste von schülernamen und eine andere Liste Ihrer Zwischenprüfung erzielt. Ich kann speichern Sie diese
1
Antworten
Ich versuche zu lernen, wie pickle und speichern Sie ein Objekt in python. Jedoch, wenn ich den Beispiel-code unten bekomme ich die folgende Fehlermeldung: io.UnsupportedOperation: read die Spuren zurück zu favorite_color = pickle.load(f_myfile). Ich finde keine gute
3
Antworten
Ich versuche, die Gurke ein Objekt einer (neuen Stil) - Klasse I definiert. Aber ich bin immer der folgende Fehler: >>> with open('temp/connection.pickle','w') as f: ... pickle.dump(c,f) ... Traceback (most recent call last): File "<stdin>", line 2,
3
Antworten
Ich habe in den letzten paar Tagen Griff zu bekommen mit den Grundlagen von lxml; insbesondere mit lxml.html zum analysieren von websites und erstellen Sie eine ElementTree der Inhalte. Im Idealfall möchte ich speichern Sie das zurückgegebene
8
Antworten
Ich bin verwendet, um die Erhebung von Daten in und aus Python mit .csv-Dateien, aber es gibt offensichtliche Herausforderungen für diese. Jede Beratung über einfache Möglichkeiten zum speichern eines Wörterbuchs (oder Sätze von Wörterbuch) in einem json-oder
2
Antworten
In der Antwort auf Python pickle: der Umgang mit Klassen-Definitionen aktualisiert, der Autor des dill Paket schreibt: "Ok, ich habe dieses feature zu dill in der neuesten Version auf github. Umgesetzt mit weit weniger Betrug, als ich
5
Antworten
Ich habe eine Baum-Struktur des widgets z.B. Sammlung enthält Modelle und Modell enthält widgets. Ich kopieren wollen ganze Kollektion copy.deepcopy ist schneller im Vergleich zu 'pickle und de-Gurke' Ing das Objekt aber cPickle als in C geschrieben
4
Antworten
Ich bin neu in Python. Ich bin eine Anpassung fremder code von Python 2.X zu 3.5. Der code lädt eine Datei über cPickle. Ich änderte alle "cPickle" Vorgänge "Gurke", wie ich verstehe, Gurke abgelöst cPickle in 3.5.
5
Antworten
Als follow-up zu dieser Frage: Gibt es eine einfache Möglichkeit, Gurke, eine python-Funktion (oder sonst serialisieren seinen code)? Ich würde gerne sehen, ein Beispiel von dieser Kugel aus dem obigen post: ", Wenn die Funktion Referenzen globals
3
Antworten
Ich versuche einen Benutzer anzulegen-system, die nutzt eine Einstellung und das Gui-Modul, und wenn das GUI-Modul Anfragen für die Datei zu laden, bis mit Gurke, bekomme ich immer ein Attribut Fehler. dies ist aus den Modul Einstellungen:
2
Antworten
Python hat sowohl die pickle und cPickle Module für die Serialisierung. cPickle hat einen offensichtlichen Vorteil gegenüber pickle: Geschwindigkeit. Was, wenn überhaupt, Vorteil hat pickle haben über cPickle? FYI: ich downvoted Ihre Frage, weil Sie nicht die
1
Antworten
Ich bekam Ausnahmen wie UnicodeDecodeError ausgelöst, wenn Beizen (eine Liste) - Objekte von EventFrame mit einem Mitglied Teilnehmer das war eine leere Menge. class EventFrame: """Frame for an event""" def __init__(self, id=0): ... self.participants = set() ...
1
Antworten
Ich versuche, mit der predict() Funktion der statsmodels.formula.api OLS Umsetzung. Wenn ich den pass eine neue Daten-frame an die Funktion zu erhalten vorhergesagten Werte für eine out-of-sample-Datensatz result.predict(newdf) gibt die folgende Fehlermeldung zurück: 'DataFrame' object has no
1
Antworten
Ich bin neu in Python. Ich habe zum ausführen dieser TargetFinder-Skript ("Benutzerdefinierte Analysen"). Ich installiert alle erforderlichen python-Pakete, und kopiert den code in ein Skript nannte ich main.py, und es lief. Ich habe diesen Fehler: [davide@laptop]$ python
3
Antworten
Das problem, das ich habe, ist, dass ich eine sehr große Gurke-Datei (2,6 Gb), die ich versuche zu öffnen, doch jedes mal, wenn ich, so bekomme ich einen Speicherfehler. Ich merke jetzt, dass ich verwendet haben, eine
1
Antworten
Ich habe den folgenden code. def main(): (minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv for i in range(minI, maxI, iStep): for j in range(minJ, maxJ, jStep): p = multiprocessing.Process(target=functionA, args=(minI, minJ)) p.start() def
3
Antworten
Hintergrund: ich fange gerade mit scikit-learn, und Lesen Sie am unteren Rand der Seite über joblib, versus Gurke. kann es interessanter sein, zu verwenden joblib Ersatz von Gurke (joblib.dump & joblib.laden), die effizienter auf große Datenmengen, sondern
7
Antworten
Tut mir Leid, dass ich den Fehler reproduzieren können mit einem einfacheren Beispiel, und mein code ist zu kompliziert, zu veröffentlichen. Wenn ich das Programm in der IPython-shell anstelle der regulären Python, alles klappt gut. Ich sah
2
Antworten
Was ist besser, mit Pandas integrierte Methode oder pickle.dump? Die standard-Gurke-Methode sieht wie folgt aus: pickle.dump(my_dataframe, open('test_pickle.p', 'wb')) Die Pandas gebaut-in-Methode sieht wie folgt aus: my_dataframe.to_pickle('test_pickle.p') warum nicht einfach Teste? Was genau meinst du mit benchmark? Ich
5
Antworten
Ich habe eine volle invertierte index in form des nested-python-dictionary. Seine Struktur ist : {word : { doc_name : [location_list] } } Zum Beispiel lassen Sie das Wörterbuch aufgerufen werden index, dann für ein Wort "spam" -
1
Antworten
Ich weiß, dass, um picklable in einer Klasse zu überschreiben __reduce__ Methode, und es muss eine Zeichenkette zurückgeben oder Tupel. Wie funktioniert das Werk? Was die genaue Verwendung der __reduce__? Wann wird es verwendet? InformationsquelleAutor oyjh |
7
Antworten
Ich habe eine defaultdict, die wie folgt aussieht: dict1 = defaultdict(lambda: defaultdict(int)) Das problem ist, ich kann keine Gurke es mit cPickle. Eine der Lösung, die ich gefunden hier ist die Verwendung von Modul-level-Funktion anstelle eines lambda.
2
Antworten
Ich bin unpickling eine NetworkX-Objekt, das über 1 GB Größe auf dem Datenträger. Obwohl ich es gespeichert in das binäre format (Protokoll 2), es nimmt eine sehr lange Zeit, um unpickle diese Datei---mindestens eine halbe Stunde. Das
2
Antworten
Habe ich eine Klasse MyClass definiert in my_module. MyClass hat eine Methode pickle_myself die Gurken die Instanz der Klasse in Frage: def pickle_myself(self, pkl_file_path): with open(pkl_file_path, 'w+') as f: pkl.dump(self, f, protocol=2) Habe ich sicher gestellt, dass
3
Antworten
Ich versuche, die Theano Bibliothek in python zu tun, einige Experimente mit Deep belief Networks. Ich benutze den code in diese Adresse: DBN vollständige code. Dieser code verwendet die MNIST Handschriftliche Datenbank. Diese Datei ist bereits in
1
Antworten
Ich versuche, einige python-Objekt meist json serialisierbar außer datetime.datetime in rabbitmq Warteschlange und so mit pickle serialisieren. celery_config Datei: CELERY_TASK_SERIALIZER = 'pickle' CELERY_RESULT_SERIALIZER = 'pickle' Ist es eine Ausnahme, die sagen: File "/usr/local/lib/python2.7/dist-packages/kombu/serialization.py", line 174, in loads
3
Antworten
Ich versuche zu gelten _pickle zum speichern von Daten auf Diskette. Aber beim Aufruf _pickle.dump ich bekam eine Fehlermeldung OverflowError: cannot serialize a bytes object larger than 4 GiB Ist dies eine harte Einschränkung zu verwenden _pickle?
8
Antworten
Es mich bis zu einer Stunde zu Lesen, eine 1-gigabyte-NetworkX Graphen-Datenstruktur mit cPickle (die 1-GB-wenn gespeichert auf der Festplatte als eine binäre pickle-Datei). Beachten Sie, dass die Datei schnell in den Speicher geladen wird. In anderen Worten,
2
Antworten
Sparte ich mir ein python-dictionary auf diese Weise: import cPickle as pickle pickle.dump(dictname, open("filename.pkl", "wb")) Und ich laden Sie es in einem anderen Skript auf diese Weise: dictname = pickle.load(open("filename.pkl", "rb")) Wie ist es möglich, die Datei
2
Antworten
Normalerweise ausführen der folgenden code wird Gurke ein Objekt zu einer Datei in meinem current Verzeichnis: fp = open('somefile.txt', 'wb') pickle.dump(object, fp) Wie kann ich re-direct die Ausgabe von pickle.dump in ein anderes Verzeichnis? InformationsquelleAutor Houdini |
10
Antworten
Wenn ich versuche etwas laden ausgegeben ich mit cPickle, bekomme ich die Fehlermeldung: ValueError: insecure string pickle Sowohl die dumping-und be-arbeiten fertig sind, auf dem gleichen computer, so gleichen OS: Ubuntu 8.04. Wie könnte ich dieses problem
3
Antworten
Nehme ich alle Dateinamen in einem bestimmten Verzeichnis in ein list möchte und schreiben Sie diese Liste in eine pickle - Datei. Hier ist der code, den ich verwende: import _pickle as pickle with open(filepath+'filenames.pkl', 'wb') as
2
Antworten
Python ' s pickle (ich Rede hier von standard-Python 2.5/2.6/2.7 hier) nicht Gurke sperren, Datei-Objekte, etc. Es auch keine Gurke Generatoren und lambda-Ausdrücke (oder irgendeiner anderen anonymen code), weil die Gurke wirklich nur speichert Namen Referenzen. Im
2
Antworten
Ich versuche, mit cPickle auf einem windows-Rechner, die mittels Anaconda. Ich bin mit python 3.5. Ich bin nicht mit einem virtualenv (wenn auch wahrscheinlich sein sollte). Wenn ich versuche zu importieren cPickle bekomme ich "ImportError: No module