Iteration über eine Liste, in parallele mit Cython

Wie macht man iteriert parallel über ein (Python -) Liste in Cython?

Betrachten Sie die folgende einfache Funktion:

def sumList():
    cdef int n = 1000
    cdef int sum = 0

    ls = [i for i in range(n)]

    cdef Py_ssize_t i
    for i in prange(n, nogil=True):
        sum += ls[i]

    return sum

Dies gibt eine Menge von compiler-Fehler, da einem parallelen Abschnitt ohne die GIL anscheinend nicht die Arbeit mit Python-Objekt:

Error compiling Cython file:
------------------------------------------------------------
...

    ls = [i for i in range(n)]

    cdef Py_ssize_t i
    for i in prange(n, nogil=True):
        sum += ls[i]
     ^
------------------------------------------------------------

src/parallel.pyx:42:6: Coercion from Python not allowed without the GIL

Error compiling Cython file:
------------------------------------------------------------
...

    ls = [i for i in range(n)]

    cdef Py_ssize_t i
    for i in prange(n, nogil=True):
        sum += ls[i]
     ^
------------------------------------------------------------

src/parallel.pyx:42:6: Operation not allowed without gil

Error compiling Cython file:
------------------------------------------------------------
...

    ls = [i for i in range(n)]

    cdef Py_ssize_t i
    for i in prange(n, nogil=True):
        sum += ls[i]
     ^
------------------------------------------------------------

src/parallel.pyx:42:6: Converting to Python object not allowed without gil

Error compiling Cython file:
------------------------------------------------------------
...

    ls = [i for i in range(n)]

    cdef Py_ssize_t i
    for i in prange(n, nogil=True):
        sum += ls[i]
          ^
------------------------------------------------------------

src/parallel.pyx:42:11: Indexing Python object not allowed without gil

Das ist vielleicht nicht unmittelbar nützlich, aber haben Sie jemals versucht, D??? Es ist c-syntax, und Sachen, wie die parallele iteration über Listen (arrays oder Bereiche in D) ist fast so einfach, wie es zu tun in MATLAB, wenn Sie vertraut sind. Check-out die Beispiel hier: . std.Parallelität. Ich fand es sehr leicht von einem Python-hintergrund.
Nie versucht, D, werfen Sie einen Blick.
Experimentiert mit D, mochte die pythonic syntax. Aber hier ist ein Problem, das ich gestoßen bin: stackoverflow.com/questions/17837098/...

InformationsquelleAutor clstaudt | 2013-07-23

7

Ich kenne keine Möglichkeit, dies zu tun. Eine Liste ist ein Python-Objekt, so mit seiner __getitem__ Methode erfordert die GIL. Wenn Sie sind in der Lage, einen NumPy-array in diesem Fall, es wird funktionieren. Zum Beispiel, wenn Sie wollten, dass die Iteration über ein array A von double-precision-floating-point-Werte könnte man etwas wie das hier tun:
```
cimport cython
from numpy cimport ndarray as ar
from cython.parallel import prange
@cython.boundscheck(False)
@cython.wraparound(False)
cpdef cysumpar(ar[double] A):
    cdef double tot=0.
    cdef int i, n=A.size
    for i in prange(n, nogil=True):
        tot += A[i]
    return tot
```
Auf meinem Rechner, für diesen speziellen Fall, prange macht es nicht schneller, als eine normale Schleife, aber es könnte besser funktionieren, in anderen Fällen. Weitere Informationen zur Verwendung prange finden Sie in der Dokumentation zu http://docs.cython.org/src/userguide/parallelism.html

Ob oder nicht, können Sie ein array verwenden, hängt davon ab, wie viel ändern Sie die Größe des Arrays. Wenn Sie eine Menge Flexibilität mit der Größe der Arrays wird nicht funktionieren. Sie könnten auch versuchen, dich mit dem vector Klasse in C++. Ich habe noch nie getan, dass ich mich, aber es ist eine kurze Beschreibung, wie Sie das hier tun: http://docs.cython.org/src/userguide/wrapping_CPlusPlus.html#nested-class-declarations
- Auf der anderen Seite, wenn Sie müssen nur eine Summe ist, Sie kann genauso gut mit der sum Methode der NumPy-arrays.
- Vielen Dank für die Hinweise. Die Summe ist nur ein einfaches Beispiel, ich brauche mehr komplexe Operationen parallel angewendet.
- Yep, kein problem.
- Getestet habe ich numpy. Ich fand es nicht funktioniert mit nogil?
- Richtig, alles, was beinhaltet die Verwendung der Python-interpreter kann nicht verwendet werden, in einem nogil Zusammenhang, weil der Dolmetscher ist nicht thread-sicher. Das gilt für die meisten Dinge in NumPy. Cython kann entfernen Sie die Python ruft in Fällen wie diesem für single-Element-Zugriff, obwohl, und dann bekommst du den Gegenwert einer C-Schleife.
InformationsquelleAutor IanH
0

Konvertieren Sie Ihre Liste in ein array, wenn Sie müssen einen numerischen Wert ein, oder ein bytearray, wenn Werte begrenzt sind, die zwischen 0 und 255. Wenn Sie speichern nichts anderes als numerische Werte, versuchen numpy oder verwenden Sie dtypes direkt. Zum Beispiel mit Byte:
```
cdef int[::1] gen = array.array('i',[1, 2, 3, 4])
```
Und wenn Sie möchten, verwenden Sie C-Typen:

ctypedef unsigned char uint8_t

InformationsquelleAutor gaborous

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.