kopieren.deepcopy vs Gurke

Ich habe eine Baum-Struktur des widgets z.B. Sammlung enthält Modelle und Modell enthält widgets. Ich kopieren wollen ganze Kollektion copy.deepcopy ist schneller im Vergleich zu 'pickle und de-Gurke' Ing das Objekt aber cPickle als in C geschrieben ist viel schneller, so

Warum sollte ich(wir) immer mit cPickle statt deepcopy?
Gibt es eine andere kopieren alternative? denn Gurke ist langsamer als deepcopy aber cPickle ist schneller, so kann eine C-Implementierung von deepcopy werden die Gewinner

Probe-test-code:

import copy
import pickle
import cPickle

class A(object): pass

d = {}
for i in range(1000):
    d[i] = A()

def copy1():
    return copy.deepcopy(d)

def copy2():
    return pickle.loads(pickle.dumps(d, -1))

def copy3():
    return cPickle.loads(cPickle.dumps(d, -1))

Timings:

>python -m timeit -s "import c" "c.copy1()"
10 loops, best of 3: 46.3 msec per loop

>python -m timeit -s "import c" "c.copy2()"
10 loops, best of 3: 93.3 msec per loop

>python -m timeit -s "import c" "c.copy3()"
100 loops, best of 3: 17.1 msec per loop

Dies ist eine sehr nützliche Beobachtung.
hm, solltest du nicht vergleichen pickle mit copy.copy?
Kommt es überhaupt auf die Struktur von dem, was Sie kopieren? Wie, macht es einen Unterschied, wenn, sagen wir, den Speicher, die zu kopierenden Objekte ist nicht zusammenhängenden, oder die zugrunde liegenden Zeiger haben eine lange Kette zu Folgen?
Gurke hat eine deepcopy

InformationsquelleAutor Anurag Uniyal | 2009-09-11

31

Problem ist, Gurke+unpickle schneller sein können (in der C-Implementierung), weil es weniger Allgemeine als deepcopy: viele Objekte können deepcopied aber nicht gebeizt. Angenommen zum Beispiel, dass Ihre Klasse A wurden geändert...:
```
class A(object):
  class B(object): pass
  def __init__(self): self.b = self.B()
```
nun copy1 noch funktioniert (Eine, die die Komplexität bremst es ab, aber absolut nicht aufhören, es); copy2 und copy3 Pause, das Ende des stack-trace sagt...:
```
  File "./c.py", line 20, in copy3
    return cPickle.loads(cPickle.dumps(d, -1))
PicklingError: Can't pickle <class 'c.B'>: attribute lookup c.B failed
```
I. e., Beizen immer davon ausgegangen, dass die Klassen und Funktionen sind top-level-Einheiten in Ihren Modulen, und so Gurken, die Sie "von name" -- deepcopying macht absolut keine solchen Annahmen.

So, wenn Sie in einer situation, wo die Geschwindigkeit des "etwas deep-copying" ist absolut entscheidend, jede Millisekunde zählt, UND Sie möchten, um die Vorteile von speziellen Einschränkungen, dass Sie WISSEN, gelten für die Objekte, die Sie duplizieren, wie diejenigen, die das machen, Beizen anwendbar, oder diejenigen, die zugunsten anderer Formen noch von serialisierungen und anderen Abkürzungen, mit allen Mitteln voran gehen - aber wenn Sie tun, Sie MÜSSEN sich bewusst sein, dass Sie einschränken von Ihrem system zu Leben, indem Sie diese Einschränkungen für immer und ewig, und dokumentieren, dass die design-Entscheidung sehr deutlich und ausdrücklich im Interesse zukünftiger Betreuer.

Für den NORMALEN Fall, wo Sie wollen Allgemeingültigkeit, verwenden Sie deepcopy!-)

InformationsquelleAutor Alex Martelli
6

Sollten Sie mit deepcopy, weil es macht den code lesbarer zu gestalten. Mit einem Serialisierungs-Mechanismus zum kopieren von Objekten im Speicher ist zumindest verwirrend, wenn ein anderer Entwickler Lesen code. Mit deepcopy auch bedeutet, dass Sie erhalten die Vorteile der zukünftigen Optimierungen in deepcopy.

Erste Regel der Optimierung: nicht.
- Zweite Regel der Optimierung: noch nicht
- Vergessen Sie die veraltete Regeln, zu ersetzen deepcopy von cpickle, macht mein Projekt Rendern 25% schneller und macht meinen Kunden glücklich 🙂
- auch ich glaube nicht, dass es verwirrend wäre, wenn die wrapper-Funktion zum kopieren von Objekt benannt ist deepcopyObject mit einem guten Kommentar
- wenn du solche speed-Probleme, mit allen Mitteln. Aber es sieht immer noch aus wie eher ein band-aid auf mich zu.
- Statt der Optimierung mit cPickle ich schlage vor, die Umsetzung __deepcopy__ (siehe meine separate Antwort).
InformationsquelleAutor wds
2

Ist es nicht immer der Fall, dass cPickle ist schneller als deepcopy(). Während cPickle ist wahrscheinlich immer schneller als pickle, ob es schneller ist als deepcopy hängt davon ab,
- die Größe und Verschachtelung der Ebene der Strukturen werden kopiert,
- den Typ der enthaltenen Objekte, und
- die Größe des eingelegten string-Darstellung.
Wenn etwas gebeizt, kann es natürlich sein, deepcopied, aber das Gegenteil ist nicht der Fall: um die Gurke etwas, es muss vollständig serialisiert; dies ist nicht der Fall für deepcopying. Insbesondere können Sie implementieren __deepcopy__ sehr effizient durch kopieren einer Struktur im Speicher (denken Sie an die Erweiterungs-Typen), ohne zu sparen alles auf die Platte. (Denken Sie an die suspend-to-RAM vs. suspend-to-disk.)

Einer bekannten extension-Typ und erfüllt die oben genannten Bedingungen kann ndarray, und in der Tat, dient es als ein gutes Gegenbeispiel zu deiner Beobachtung: Mit d = numpy.arange(100000000) code gibt verschiedene Laufzeiten:
```
In [1]: import copy, pickle, cPickle, numpy

In [2]: d = numpy.arange(100000000)

In [3]: %timeit pickle.loads(pickle.dumps(d, -1))
1 loops, best of 3: 2.95 s per loop

In [4]: %timeit cPickle.loads(cPickle.dumps(d, -1))
1 loops, best of 3: 2.37 s per loop

In [5]: %timeit copy.deepcopy(d)
1 loops, best of 3: 459 ms per loop
```
Wenn __deepcopy__ ist nicht implementiert, die copy und pickle gemeinsame Infrastruktur (vgl. copy_reg Modul, diskutiert in Beziehung zwischen Gurke und deepcopy).

InformationsquelleAutor hans_meine
1

Sogar schneller sein würde, um zu vermeiden, die kopieren Sie in den ersten Platz. Sie erwähnen, dass Sie dabei sind, Rendern. Wieso braucht es zum kopieren von Objekten?
- ja, im Idealfall würde es nicht brauchen, kopieren, anzeigen(Rendern) und das Modell wird entkoppelt, aber in meinem Fall, das rendering macht das Modell Bearbeiten, daher muss ich kopieren Modell vor dem Rendern, so werden die Originale nicht verändert
- Ich meine damit nicht zu schlagen ein Totes Pferd, aber die Lösung des Problems, wo das Rendern ändert das Modell wird sehr glücklich machen.
- Ich bin damit einverstanden, aber es wäre eine teure Angelegenheit zu ändern, so viel code, wie die Diskussion hier nicht möglich ist, ich habe eine Frage stackoverflow.com/questions/1414246/...
InformationsquelleAutor Ned Batchelder
0

Kurz und etwas spät:
- Wenn Sie cPickle ein Objekt sowieso, könnte man genauso gut verwenden Sie die cPickle Methode deepcopy (aber-Dokument)
z.B. könnten Sie denken:
```
def mydeepcopy(obj):
    try:
       return cPickle.loads(cPickle.dumps(obj, -1))
    except PicklingError:
       return deepcopy(obj)
```
- warum werden meine Zeilenumbrüche verschwinden, Fehler in der stov?
- aber das war nicht die Frage, ich war ja schon mit cPickle in ähnlicher Weise
- Schnellste Weg, woran ich denken konnte, abgesehen vom schreiben, Ihre eigenen python-c-Erweiterung
- Feste Sie code-Formatierung
InformationsquelleAutor Lars

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.