Parallele und Multicore-Verarbeitung in R

Dies ist in Richtung der extreme, in R Funktionen, die ich denke, aber hier geht...

Ich bin dabei einige schwere Verarbeitung in R, in denen ich geschrieben habe, eine Funktion, die nicht alle das Bein Arbeit von einem einzigen Aufruf. Ich würde jedoch gerne den thread oder nutzen mehr als einen einzigen Kern.

Habe ich mir angeschaut, die Parallel Paket, das kommt, als veraltet. Ich würde am Liebsten in call-Funktion als neuen thread.

Ich verstehen, die Komplexität der parallel-computing-und dass es nicht die einfachste Sache der Welt, aber ich würde schätzen, es wenn jemand wusste, dass einige Pakete nützlich sein würde, oder etwas, was ich übersehen habe.

Cheers

InformationsquelleAutor A_Skelton73 | 2013-06-11
  1. 19

    Den multicore - Paket ist veraltet: nicht parallel. Werfen Sie einen Blick auf die Dokumentation für die mclapply Funktion: es ist der einfachste Weg zur Ausführung von Funktionen parallel in der parallel Paket. Es ist sehr ähnlich zu lapply aber mit ein paar neue, optionale Argumente:

    library(parallel)
myfun <- function(i) { Sys.sleep(1); i }
mclapply(1:8, myfun, mc.cores=4)

    Beachten Sie, dass mclapply verwendet Prozesse, keine threads und keine Unterstützung für die parallele Ausführung auf Windows. Für Windows, Sie sollten einen Blick auf parLapply, die auch in parallel. Es ist auch ähnlich wie lapply werden, sondern erfordert eine cluster-Objekt als erstes argument. Hier ist das gleiche Beispiel, aber das funktioniert auf praktisch jeder Plattform:

    library(parallel)
cl <- makePSOCKcluster(4)
myfun <- function(i) { Sys.sleep(1); i }
parLapply(cl, 1:8, myfun)
stopCluster(cl)
    • Aber die Funktionen wie parLapply im parallel-Paket funktioniert parallel auf windows, es dauert nur ein wenig mehr setup als mclapply.
    • Endlich habe ich verstanden, dein Kommentar und hoffentlich verbessert meine Antwort. Danke.
    InformationsquelleAutor Steve Weston
Schreibe einen Kommentar