Können wir führen Sie multi-Prozess - - Programm in docker?

Habe ich einige code mit multi-Prozess wie diesem:

import multiprocessing
from multiprocessing import Pool

pool = Pool(processes=100)
result = []

for job in job_list:        
    result.append( 
        pool.apply_async(
            handle_job, (job)
            )
        )
pool.close()
pool.join()

Dieses Programm tut, schwere Berechnungen auf sehr großen Datensatz. Wir müssen also die multi-Prozess um den job zu behandeln, die gleichzeitig die performance zu verbessern.

Mir wurde gesagt, dass der hosting-system, ein docker-container ist nur ein Prozess. Also ich Frage mich, wie meine multi-Prozess bearbeitet werden, werden im Andockfenster?

Unten sind mein Anliegen:

  1. Da der container ist nur ein Prozess, wird mein multi-Prozess-code werden multi-threading in den Prozess?

  2. Wird die Leistung werden nach unten? Denn der Grund, warum ich multi-Prozess zu bekommen Arbeit getan gleichzeitig um bessere Leistung zu erhalten.

InformationsquelleAutor Kramer Li | 2016-07-22
  1. 5

    Docker enthält Namespaces Prozess-id ' s und die volle Unterstützung für die Ausführung mehrerer Prozesse, die durch den kernel. Innerhalb eines Containers können Sie ps, um zu sehen, der isolierte Prozess-Liste (die oft nur Ihre Schale und den ps-Befehl).

    Die Beschreibung von docker für eine einzige Anwendung ausführt, ist die Trennung der application isolation-Technologie aus bekannten OS-Virtualisierung-tools gibt, wo würden Sie starten Sie den web-server, mail-server, ssh-daemon etc in den hintergrund.

    Ein paar Worte der Vorsicht:

    • Einmal pid 1 beendet, die container endet, unabhängig davon, ob die Gabel-Prozesse noch laufen oder nicht.
    • Ohne init, beendet Prozesse, die nicht geerntet, die von Ihren Eltern bleiben, wie die zombies (Sie werden nicht durch den namespace isolation zu erreichen, der host init-Prozess). Es gibt eine tini Anwendung, die Sie ausführen können, als Ihre entrypoint zu bereinigen, wenn dies ein Problem ist (tini github repo).
    • Ich versuche zu verstehen, Ihre Worte. Also du meinst docker-Unterstützung multi-processing. Aber diese Prozesse isoliert vom Prozess-namespace, damit wir nicht sehen können, Sie außerhalb der docker-container, richtig?
    • Die Prozess-isolation bedeutet, dass die Prozess(E) in Ihrem container nicht sehen kann, der Wirt, Sie sehen nur sich selbst laufen. Aber der Gastgeber wird in der Lage sehen, die Laufenden Prozesse in den container. docker run -it --rm busybox /bin/sh -c top um dies in Aktion zu sehen.
    • Dies hilft mit Bezug auf isolation. Aber nicht decken CPU-Aspekt. Wird OS-scheduling unterscheiden sich, wenn 100 threads im single-process container vs 20 threads in 5 Prozess-jeweils in einem container.
    • Das ist nicht wirklich ein Andockfenster Frage, es ist ein Linux OS-scheduling-Prozess vs. thread-Frage, und die Container nicht ändern. Das Verhalten des Schedulers nicht ändern, mit Container, anderen als, wenn Sie optionale CPU-Auslastung in Grenzen.
    InformationsquelleAutor BMitch
  2. 0

    Ja sehen, der doc über supervisor
    https://docs.docker.com/engine/admin/using_supervisord/

    Können Sie auch die Nutzung von daemon tools
    http://cr.yp.to/daemontools.html

    oder s6
    http://skarnet.org/software/s6/

    • Hallo, vielen Dank für deine info. Aber ich denke, Ihre Antwort ist nicht sehr fit auf meine Frage. Kann sein, ich habe meine Frage klar. Habe ich neu bearbeitet meine Frage wieder. Können Sie noch einmal überprüfen, bitte?
    • Extrahiere ich aus einem alten Hafenarbeiter PR github.com/docker/docker/issues/3090 dies Yes, applications running in the containers will scale to make use of CPU cores as if they were running outside of a container.
    • geben Sie in Ihrem docker run wie viele Cpus können Sie Ihre docker-container zu verwenden, extrahieren Sie aus dem doc - docs.docker.com/engine/reference/run --cpuset-cpus="" CPUs in which to allow execution (0-3, 0,1)
    • Danke. Scheint multi-threading ist nicht ein problem. Aber Meine Sorge ist multi-processing. Wenn der container ist einfach nur ein Prozess. Dann, wie mein multi-Prozess-code behandelt wird?
    • Ich bin keine Experte, aber ich habe gesehen, multi-Prozess docker Container laufen, indem Sie mithilfe der supervisor als PID1 zu orchestrieren der Prozesse. docs.docker.com/engine/admin/using_supervisord
    InformationsquelleAutor user2915097
Schreibe einen Kommentar