Die Suche nach einzigartigen Punkte im numpy array

Was ist ein schneller Weg zu finden, einzigartige x -, y-Punkte (entfernen Sie Duplikate) in ein numpy-array wie:

points = numpy.random.randint(0, 5, (10,2))

Ich dachte, der Umwandlung von Punkten zu einem komplexen zahlen und dann die überprüfung für einzigartig, aber das scheint eher verworren:

b = numpy.unique(points[:,0] + 1j * points[:,1])
points = numpy.column_stack((b.real, b.imag))
  • Wenn Sie nicht benötigen, um zu erhalten, benutzen Sie Tupel, für die Punkte und konvertiert die Liste in ein set.
  • Ich brauche das Ergebnis in ein numpy-array, so das scheint wie eine Menge von Umbauten.
  • Gibt es einen wirklichen Grund, warum die einfache Lösung numpy.vstack([numpy.array(u) for u in set([tuple(p) for p in points])]) ist nicht schnell genug?
  • Denken es muss einen schnelleren Weg als Liste Verständnis, wenn es um längere Listen von Punkten, Nein?
  • Wim-Methode ist schneller, insbesondere bei größeren arrays. Wahrscheinlich, weil es nicht stört Sortieren Sie das Ergebnis. Ich habe einige timeit benchmarks zu meinem post. Vielleicht wim wird post seine Lösung als Antwort?
  • Ok, ich werde es hinzufügen.

InformationsquelleAutor Benjamin | 2011-11-03
  1. 8

    Ich würde es so machen:

    numpy.array(list(set(tuple(p) for p in points)))

    Für die schnelle Lösung, in der die meisten Allgemeinen Fall, vielleicht, dieses Rezept würde Sie interessieren:
    http://code.activestate.com/recipes/52560-remove-duplicates-from-a-sequence/

    • Ich habe ein ähnliches problem, für das diese Werke einen Charme, aber es kommt heraus, unsortiert, obwohl die Daten gingen in sortiert. Warum geschieht dieses?
    • Da die Bestellung wird zerstört durch set, das ist eine ungeordnete collection.
    • Es gibt nichts stoppen Sie von der Sortierung der Ausgabe, obwohl 🙂 Das set ist nur als Zwischenschritt zu entfernen dupes hier.
    InformationsquelleAutor wim
  2. 7

    Ich denke, Sie haben eine sehr gute Idee hier. Denken über die zugrunde liegenden Speicherblock verwendet zur Darstellung der Daten in points. Wir sagen numpy zu betrachten, dass block repräsentiert ein array der Form (10,2) mit dtype int32 (32-bit-Ganzzahlen), aber es ist fast kostenlos, um sagen numpy zu betrachten, die denselben Speicherblock, der als Vertretung ein array der Form (10) mit dtype c8 (64-bit-komplexe).

    Also der einzige wirkliche Kosten ist der Aufruf np.unique, gefolgt von einem weiteren praktisch kostenlos anrufen, um view und reshape:

    import numpy as np
np.random.seed(1)
points = np.random.randint(0, 5, (10,2))
print(points)
print(len(points))

    Erträge

    [[3 4]
 [0 1]
 [3 0]
 [0 1]
 [4 4]
 [1 2]
 [4 2]
 [4 3]
 [4 2]
 [4 2]]
10

    während

    cpoints = points.view('c8')
cpoints = np.unique(cpoints)
points = cpoints.view('i4').reshape((-1,2))
print(points)
print(len(points))

    Erträge

    [[0 1]
 [1 2]
 [3 0]
 [3 4]
 [4 2]
 [4 3]
 [4 4]]
7

    Wenn Sie nicht brauchen, das Ergebnis sortiert werden, wim Methode ist schneller (möchten Sie vielleicht zu prüfen, zu akzeptieren seine Antwort...)

    import numpy as np
np.random.seed(1)
N=10000
points = np.random.randint(0, 5, (N,2))

def using_unique():
    cpoints = points.view('c8')
    cpoints = np.unique(cpoints)
    return cpoints.view('i4').reshape((-1,2))

def using_set():
    return np.vstack([np.array(u) for u in set([tuple(p) for p in points])])

    ergeben diese benchmarks:

    % python -mtimeit -s'import test' 'test.using_set()'
100 loops, best of 3: 18.3 msec per loop
% python -mtimeit -s'import test' 'test.using_unique()'
10 loops, best of 3: 40.6 msec per loop
    • np.einzigartigen Sorten die Folge. Sind Sie auf der Suche nach einer Methode, die hält die restlichen Elemente in Ordnung?
    • Nein, ich meine, ich erhalten das falsche Ergebnis: cpoints.Form ist noch 10,2 und die letzten Punkte nicht mit dem original übereinstimmen.
    • Ich habe bearbeitet den post, um zu zeigen, es funktioniert für mindestens einen Samen. Können Sie ein Beispiel zeigen, wo es nicht funktioniert (mit einem samenkorn, das problem ist also reproduzierbar)?
    • Nicht das, was ich sehe... 2.7.1 Python ist es notwendig, numpy 2.0.0. Ich bin immer das gleiche Ergebnis mit Python 2.6.7 und numpy 1.5.1 und mit Python 2.7.1 und numpy 1.5.1 (mac), die [[0,0],[1,0],[2,0],[3,0],[4,0]]... Hmm.
    • Aber läuft wunderbar auf meinem alten Python 2.5.6 mit numpy 1.2.1. Jede Idee, was könnte die Ursache sein? Danke für eine nette Antwort, btw.
    • Ich bin mit Python 2.7.2 und numpy 1.5.1. Ich habe in der Dokumentation zum np.einzigartig auf numpy 2.0.0 gegen np.einzigartig auf numpy 1.5.1. Sie scheinen die gleichen, also ich habe keine Ahnung, warum sollten Sie sich anders Verhalten. Es würde immens helfen, wenn Sie könnten, bieten eine einfache Beispiel für ein array, bei dem die Methode nicht funktioniert (entweder die Angabe np.random.seed(...) oder eine konkrete points array.)
    • Nicht, dass hier jemand C, aber recarrays könnte schöner sein, dann einfach eine größere dtype (und allgemein)

    InformationsquelleAutor unutbu
Schreibe einen Kommentar