Parallel anzeigen in haskell

Gibt es einige Ersatz map die Auswertung der Liste in parallel? Ich brauche es nicht, faul zu sein.

Etwas wie: pmap :: (a -> b) -> [a] -> [b] lassen Sie mich pmap expensive_function big_list und habe alle meine cores bei 100%.

InformationsquelleAutor Clark Gaebel | 2011-04-09
  1. 37

    Ja, siehe die parallel-Paket:

    ls `using` parList rdeepseq

    bewertet jedes element der Liste parallel über die rdeepseq Strategie. Beachten Sie die Verwendung von parListChunk mit einem guten Stück könnte der Wert eine bessere Leistung, wenn Ihre Elemente sind auch Billig zu bekommen ein Vorteil die Auswertung jeweils parallel (weil es spart auf Funkenbildung für jedes element).

    EDIT: Bezogen auf deine Frage, ich glaube, ich sollte erklären warum das ist eine Antwort. Es ist, weil Haskell ist faul! Betrachten Sie die Anweisung

    let bs = map expensiveFunction as

    Nichts bewertet wurde. Sie haben gerade einen thunk, die Google maps expensiveFunction. So, wie wir es bewerten parallel?

    let bs = map expensiveFunction as
    cs = bs `using` parList rdeepseq

    Nun nicht die bs Liste in Ihrem zukünftigen Berechnungen, sondern verwenden Sie das cs Liste. IOW, brauchen Sie nicht eine parallel-Karte, die Sie verwenden können, die regelmäßige (faul) Karten und eine parallele evaulation-Strategie.

    EDIT: Und wenn man sich weit genug herum sehen Sie die parMap Funktion, die das macht, was ich hier gezeigt, aber eingewickelt in eine helper-Funktion.

    In Antwort auf Ihren Kommentar nicht der code unten nicht für Sie arbeiten? es funktioniert für mich.

    import Control.Parallel.Strategies

func as =
        let bs = map (+1) as
            cs = bs `using` parList rdeepseq
        in cs
    • Ich habe versucht zu tun pmap f x = (map f x) `using` parList rdeepseq, aber GHC beschwert sich, dass rdeepseq braucht ein argument.
    • finden Sie den code, den ich eingefügt - dieser laden soll in GHCi in Ordnung. Funktioniert es für Sie? Der Ausdruck parMap rdeepseq f as sollten das gleiche tun.
    • Nicht für mich arbeiten. "Keine Instanz für (die Kontrolle.DeepSeq.NFData b), der sich aus einer Verwendung von `rdeepseq'"
    • Sie muss es in einem bestimmten Kontext oder mit einer expliziten Typ-Signatur. Werden Sie sicher, dass die Elemente der Liste haben eine NFData Instanz - das ist erforderlich für den Einsatz von rdeepseq. Wem das zu lästig ist, dann verwenden Sie rseq statt, die evalutes zu whnf.
    • Okay. Ich habe es mit parMap, aber ich bin immer noch nur mit einem Kern hier =/
    • Hast du kompilieren mit Gewinde (ghc -O2 -threaded blah.hs --make) und verwenden Sie die rechts-RTS-Optionen ( ./blah +RTS -Nx ), wo x ist die Anzahl der Kerne, die Sie verwenden möchten, wie 2? Hinweis auf GHC 7 sollten Sie nur in der Lage sein zu geben ghc -O2 -threaded -with-rtsopts=-N blah.hs und führen ./blah.
    • Ja, habe ich. Spielt es eine Rolle, als dass ich auf Windows?
    • Nein, Windows sollte gut funktionieren. Konnte Sie Bearbeiten Ihre Frage mit der genauen code, den Sie zusammengetragen, die Zusammenstellung line (auch mit -fforce-recomp, nur um sicher zu sein) und wie Sie ausgeführt? Außerdem finden Sie mich auf #haskell im IRC-wenn Sie möchten, diese arbeiten in Echtzeit.

    InformationsquelleAutor Thomas M. DuBuisson
  2. 17

    Neben der Verwendung von expliziten Strategien, die sich, wie Tom beschrieben hat, die parallel Paket auch die Exporte parMap:

     parMap :: Strategy b -> (a -> b) -> [a] -> [b]

    wo das Strategie-argument ist so etwas wie rdeepseq.

    Und es gibt auch parMap in der par-Monade-Paket (Sie Schritt aus purem Haskell, und in einem parallel-Monade):

     parMap :: NFData b => (a -> b) -> [a] -> Par [b]

    Dem par-Monade Paket ist hier dokumentiert.

    • Es gibt eine kleine Einschränkung hier. parMap ist mit mapM, die strenge. Dies bedeutet, dass die Liste Wirbelsäule wird vollständig ausgewertet, bevor die Berechnung beginnt, wenn die Liste zu lang ist, z.B. bei der parMap'ping über die gelesenen Datensätze aus einer (großen) Datei, das ist wahrscheinlich nicht das, was Sie wollen. Vielleicht würde das besser mit einem faulen parMap, oder durch die Verteilung von Elementen round-robin.
    • Monaden sind Reine ... nur IO nicht ...
    InformationsquelleAutor Don Stewart
Schreibe einen Kommentar