Einfache Möglichkeit zur Verwendung von parallel-Optionen von scikit-learn-Funktionen auf HPC

In vielen Funktionen von scikit-learn implementiert benutzerfreundliche Parallelisierung. Zum Beispiel in
sklearn.cross_validation.cross_val_score Sie übergeben Sie einfach die gewünschte Anzahl der computational jobs in n_jobs argument. Und für den PC mit multi-core-Prozessor, es wird funktionieren, sehr nett. Aber wenn ich verwenden möchten, die entsprechende option im high-performance-cluster (mit installiertem OpenMPI-Paket und mit SLURM für die Ressource-management) ? Ich weiß sklearn verwendet joblib für die Parallelisierung, die verwendet multiprocessing. Und, wie ich weiß, (aus dieser, zum Beispiel, Python multiprocessing innerhalb mpi) Python-Programme parallelisiert mit multiprocessing einfach zu skalieren oh gesamten MPI-Architektur mit mpirun - Dienstprogramm. Kann ich verbreiten Berechnung der sklearn Funktionen auf mehrere computational nodes nur mit mpirun und n_jobs argument?

  • Möchten Sie vielleicht zu prüfen, dask-sklearn mit dem dezentralen scheduler, können in einem cluster ausgeführt: jcrist.github.io/dask-sklearn-part-1.html
  • können Sie ein Beispiel für die Verwendung der distributed scheduler? Die verteilte dask Beispiele, die ich gesehen habe beinhalten manuelles erstellen von Arbeitern auf jede Maschine und deren Zuordnung zu den scheduler. Ich bin mir nicht sicher, ich sehe, wie diese Bindungen in der dask-sklearn Funktionen. Würde ich nur erstellen die Planer und Arbeiter wie hier: dask.pydata.org/en/doc-test-build/distributed.html dann legen Sie die Standard-scheduler so wie in deinem link (wobei 10.0.0.3:8786 ist die Adresse der Planer erstellt habe ich wie im ersten link)?
  • Ja. Der setup-Prozess ist genau so, wie Sie beschreiben. Siehe distributed.readthedocs.io/en/latest/setup.html
  • das scheint nicht für mich arbeiten. Es scheint, dass nichts ausgeführt wird, auf die Arbeiter, obwohl Sie erfolgreich erstellt wurde. Können Sie die Antwort Lesen unten und meine Kommentare zu es und sehen, wenn Sie irgendwelche Ideen, bitte?
InformationsquelleAutor user3271237 | 2016-07-26
  1. 23

    SKLearn verwaltet seine Parallelität mit Joblib. Joblib kann die swap-multiprocessing-backend für andere verteilte Systeme, wie dask.verteilt oder IPython Parallel. Sehen dieses Problem auf die sklearn github-Seite für details.

    Beispiel mit Joblib mit Dask.verteilt

    Code genommen von der Problem-Seite oben verlinkten.

    from sklearn.externals.joblib import parallel_backend

search = RandomizedSearchCV(model, param_space, cv=10, n_iter=1000, verbose=1)

with parallel_backend('dask', scheduler_host='your_scheduler_host:your_port'):
        search.fit(digits.data, digits.target)

    Dies erfordert, dass Sie einen dask.distributed Planer und Arbeiter auf den cluster. Allgemeine Hinweise sind hier verfügbar: http://distributed.readthedocs.io/en/latest/setup.html

    Beispiel mit Joblib mit ipyparallel

    Code stammt aus der gleichen Ausgabe Seite.

    from sklearn.externals.joblib import Parallel, parallel_backend, register_parallel_backend

from ipyparallel import Client
from ipyparallel.joblib import IPythonParallelBackend

digits = load_digits()

c = Client(profile='myprofile')
print(c.ids)
bview = c.load_balanced_view()

# this is taken from the ipyparallel source code
register_parallel_backend('ipyparallel', lambda : IPythonParallelBackend(view=bview))

...

with parallel_backend('ipyparallel'):
        search.fit(digits.data, digits.target)

    Hinweis: in beiden der oben genannten Beispiele, die n_jobs parameter scheint nicht mehr wichtig.

    Eingerichtet dask.verteilt mit SLURM

    Für SLURM der einfachste Weg, dies zu tun, ist wahrscheinlich zu verwenden, die dask-jobqueue Projekt

    >>> from dask_jobqueue import SLURMCluster
>>> cluster = SLURMCluster(project='...', queue='...', ...)
>>> cluster.scale(20)

    Könnten Sie auch dask-mpi oder mehrere andere Methoden erwähnt, Dask setup-Dokumentation

    Verwenden dask.direkt verteilt

    Alternativ können Sie eine dask.verteilt oder IPyParallel-cluster und verwenden Sie dann diese Schnittstellen direkt zu parallelisieren SKLearn code. Hier ist ein Beispiel video von SKLearn und Joblib-Entwickler Olivier Grisel, tut genau das an PyData Berlin: https://youtu.be/Ll6qWDbRTD0?t=1561

    Versuchen Dask-ML

    Könnte man auch versuchen, die Dask-ML-Packung, die eine RandomizedSearchCV Objekt, das ist API-kompatibel mit scikit-learn, aber rechnerisch umgesetzt auf der Oberseite von Dask

    https://github.com/dask/dask-ml

    pip install dask-ml
    • Ich versuche das erste Beispiel arbeiten, die auch hier beschrieben: distributed.readthedocs.io/en/latest/joblib.html. Ich verwendet dask-ssh einrichten, meine Planer und Arbeiter. Das funktioniert, wenn ich drucken Sie das scheduler-Objekt bekomme ich die richtige Anzahl an Kernen (240). Als Nächstes wickelte ich den Aufruf der randomizedsearch ist fit im with - Anweisung. Wenn ich in der Konsole-Fenster, in dem ich ausgeführt dask-ssh sehe ich eine Verbindung vom Knoten I führen Sie das python-Skript in. Es gibt jedoch keine verteilte Arbeit Los. Es ist nicht skalierbar, und es schadet auch nicht, siehe die GPUs, die die Arbeiter haben.
    • Ich habe auch versucht das basteln mit RandomizedSearchCV ist n_jobs parameter, Einstellung -1, 1, 100, 240. Jeder Wert über 20 führt zu etwa der gleichen Leistung, die lässt mich denken, dass nichts auf die Arbeitnehmer verteilt, sondern auf die Knoten I führen Sie das python-Skript auf (gensim auch druckt eine Meldung, dass es keine GPU. Es ist eine GPU, die auf den worker-Knoten, aber es ist nicht ein auf die Knoten I führen Sie das Skript aus).
    • An diesem Punkt sind Sie außerhalb meiner Kompetenz. Sie könnte damit ein Problem mit der joblib-Betreuer. Ich habe per e-Mail ein und alarmierte die ihn zu dieser Frage, aber Sie sind sehr beschäftigte Leute. Ich habe auch angefügt, die Antwort auf die experimentelle dask-lernen-Paket
    • Ok, vielen Dank. Ich habe versucht, dklearn, aber leider ist es nur hängenbleibt bei mir, scheint nie fertig. Halten Sie an es.
    • Update: habe auch versucht ipyparallel, gleiche, was ich beschrieben mit dask. Die Arbeiter (Motoren in ipyparallel) erfolgreich erstellt, der Kunde sieht Sie, aber meine Netz-Recherchen nicht auf Ihnen laufen.
    • Dann möchte ich eine Frage aufwerfen auf github mit joblib oder sklearn
    • Ich nahm mir die Freiheit, zu Bearbeiten, Ihre Antwort mit arbeiten sklearn Beispiele, wie ich Sie herausfinden mit Hilfe von sklearn Entwickler. Bitte lassen Sie mich wissen, wenn du glücklich bist mit ihm, in dem Fall werde ich award der bounty.
    • Cool. Ich bin überrascht, dass Sie rufen musste register_parallel_backend('distributed', DistributedBackend). Dies sollte schon behandelt werden, in distributed.joblib. Vielleicht sklearn ist die Verpackung entlang Ihrer eigenen version der joblib-Bibliothek jetzt?
    • Ja, es ist offenbar. Das ist, warum Sie haben zu importieren, die Sie verwenden, nicht die, die installiert auf Ihrer Plattform. Und das ist, was die Dinge verwirrend für mich, da alle Beispiele wurden dem Import der Plattform joblib, nicht sklearn ist. Ah gut, es ist wenigstens gesorgt.
    • Am Ende hoffe ich, dass die Lösung endet die Arbeit gut für Sie
    • Ich lief Ihr ipyparallel Beispiel oben, und ich kann sehen, alle 8 Arbeiter beschäftigt ausführen. Vielen Dank für die Bereitstellung es. Allerdings, wenn ich RandomizedSearchCV mit verschiedenen Modell (sklearn_crfsuite) nur ein worker aktiv ist. crf-Modell bietet die gleichen Methoden wie andere sklearn Modelle, so bin ich nicht sicher, was passiert.
    • bei der Verwendung von ipyparallel muss ich die sync-Importen? stackoverflow.com/questions/33722330/...

    InformationsquelleAutor MRocklin
Schreibe einen Kommentar