Tensorflow und Multiprocessing: die Übergabe von Sessions

Ich habe vor kurzem an einem Projekt arbeiten, mit einem neuronalen Netzwerk für die virtuellen Roboter zu Steuern. Ich verwendet tensorflow zu Programmieren und es läuft reibungslos. Bisher verwendete ich die sequentiellen Simulationen zu evaluieren, wie gut das neuronale Netz ist, aber ich wollen, führen Sie mehrere Simulationen parallel zu reduzieren die Menge der Zeit es braucht, um Informationen zu bekommen.

Dazu bin ich importieren python ' s multiprocessing Paket. Anfangs war ich vorbei an der sess-variable (sess=tf.Session()) zu einer Funktion, die ausgeführt würde, die simulation. Jedoch, sobald ich die bekommen eine Anweisung, die verwendet diese sess variable, wird der Prozess beendet, ohne eine Warnung. Nach der Suche rund um für ein bisschen fand ich diese beiden Beiträge:
Tensorflow: Übergabe einer Sitzung zu einem python-Multiprozess -
und Ausführen mehrerer tensorflow-Sitzungen gleichzeitig

Während Sie sind eng miteinander verwandt, ich war nicht in der Lage, herauszufinden, wie es funktioniert. Ich habe versucht das erstellen einer Sitzung für jeden einzelnen Prozess, und die Zuordnung der GEWICHTE des neuronalen Netzes, um seine trainierbare Parameter, ohne Erfolg. Ich habe auch versucht das speichern der session in eine Datei und dann laden Sie es in einem Prozess, aber kein Glück es entweder.

Hat jemand schon passieren können, eine session (oder Klone von sessions) zu mehreren Prozessen?

Dank.

Ich vermute, dass Sie nicht passieren können Klone von Sitzungen zwischen Prozessen, weil dort der Staat in C Adressraum, dass Python nicht wissen, wie zu kopieren. Aber brand-neue Sitzungen in jedem neuen Prozess sollte funktionieren. Ich habe nicht verwendet multiprocessing, aber ich habe oft paar Prozesse offen parallel zu halten, dass Ihre eigenen TensorFlow Sitzungen
Der zweite link, den ich zur Verfügung gestellt führt mehrere Prozesse parallel aus, aber das Problem ist, dass ich müssen dem neuronalen Netz werden die gleichen für ALLE Prozesse.
Sie können in der Lage sein zu arbeiten, um es durch die Verwendung TensorFlow verteilt -- dh, eine lokale Arbeiter-und ps und erstellen Sie mehrere sessions parallel, wie tf.Session("grpc://localhost:2222") github.com/tensorflow/tensorflow/blob/master/tensorflow/g3doc/...
jede chance, die Sie ausarbeiten könnte ein bisschen? Ich bin Implementierung parallel TRPO (Viva RL) aber nun zusammen mit dem minimal-Beispiel [ gist.github.com/dd210/e8bad8eadc19f44cafcdc5313a39a53f ]. Grundsätzlich würde ich gerne starten Sie Sitzung in der Haupt-Prozess, einige Berechnungen durchzuführen, dann transfer-Netzwerk zu einem anderen X parallele Prozesse und machen einige Berechnungen parallel gibt. Wiederholen Sie dann Y-mal. Aber ich blieb stecken mit diesem minimal-Beispiel, weil es scheint, dass ich brauche, um zu arbeiten, in einer Sitzung die ganze Zeit. Offizielle tutorial ist ein <bit> vage. Über jede Hilfe und Beratung.
Multiprocessing zu sein scheint semi-broken mit TensorFlow. Hier ist ein Beispiel für die Verwendung von verteilten tensorflow -- gist.github.com/yaroslavvb/ea1b1bae0a75c4aae593df7eca72d9ca
BTW, ich habe Menschen gesehen, die TF mit dem MPI vor, es ist gut, wenn Sie starten Prozesse und erstellen-Sitzungen, die in jedem Prozess separat und verwenden MPI zu kommunizieren, im Gegensatz zu importieren tensorflow -> erstellen von session -> Gabel
Genau! Ich war einer dieser Personen, aber es ist eindeutig sehr seltsam Abhilfe.. Und nicht perfekte Passform für meine Aufgabe. Danke für das Beispiel, ich werde das prüfen.

InformationsquelleAutor MrRed | 2016-04-13

Ich benutze keras als wrapper mit tensorflow als gesichert, aber die gleiche Allgemeine Prinzip gelten soll.

Wenn Sie versuchen, so etwas wie dieses:

import keras
from functools import partial
from multiprocessing import Pool

def ModelFunc(i,SomeData):
    YourModel = Here
    return(ModelScore)

pool = Pool(processes = 4)
for i,Score in enumerate(pool.imap(partial(ModelFunc,SomeData),range(4))):
    print(Score)

Wird es scheitern. Wenn Sie jedoch versuchen, so etwas wie dieses:

from functools import partial
from multiprocessing import Pool

def ModelFunc(i,SomeData):
    import keras
    YourModel = Here
    return(ModelScore)

pool = Pool(processes = 4)
for i,Score in enumerate(pool.imap(partial(ModelFunc,SomeData),range(4))):
    print(Score)

Sollte es funktionieren. Versuchen Sie anrufen tensorflow separat für jeden Prozess.

diese gerade meinen Tag gerettet. Danke!

InformationsquelleAutor June Skeeter

3

Können Sie nicht verwenden, Python-multiprocessing übergeben TensorFlow Session in eine multiprocessing.Pool im straightfoward Weg, weil die Session Objekt kann nicht gebeizt (es ist grundsätzlich nicht serialisierbar, weil es führen kann, der GPU-Speicher und Staat ähnlich).

Ich würde vorschlagen, parallelisieren Sie den code mit Schauspieler, die im wesentlichen parallel computing analogen "Objekte" und verwenden Sie zum verwalten der Staat in der dezentralen Einstellung.

Ray ist eine gute Grundlage, dies zu tun. Definieren Sie eine Python-Klasse, die schafft das TensorFlow Session und stellt eine Methode zum ausführen der simulation.
```
import ray
import tensorflow as tf

ray.init()

@ray.remote
class Simulator(object):
    def __init__(self):
        self.sess = tf.Session()
        self.simple_model = tf.constant([1.0])

    def simulate(self):
        return self.sess.run(self.simple_model)

# Create two actors.
simulators = [Simulator.remote() for _ in range(2)]

# Run two simulations in parallel.
results = ray.get([s.simulate.remote() for s in simulators])
```
Hier sind ein paar weitere Beispiele von die Parallelisierung TensorFlow mit Ray.

Sehen die Ray-Dokumentation. Beachten Sie, dass ich eine der Ray-Entwickler.
- Vielen Dank so viel für diese - möchte ich bezeugen, dass dies auch (vielleicht offensichtlich) arbeitet mit Keras. Ich brauchte eine Möglichkeit zum ausführen Vorhersage in mehrere Prozesse auf einmal. Meine konkrete Umsetzung beinhaltete die Erstellung von wrapper-Klassen um meine Keras Modelle, jeweils mit Ihren eigenen tf.Graph() und tf.Session() Objekte, und erstellen Sie eine ray Schauspieler aus "entry point" - Modul stellt einen einzigen run_prediction() Methode.
InformationsquelleAutor Robert Nishihara

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.