Python zeromq — Mehrere Verlage Zu einem Einzigen Abonnenten?

Ich würde gerne schreiben ein python Skript (nennen wir es Eltern), die Folgendes macht:

(1) definiert eine multi-dimensionale numpy array

(2) forks 10 verschiedene python Skripte (nennen wir Sie Kinder). Jeder von Ihnen muss in der Lage sein, um read den Inhalt der numpy array von (1) an jedem beliebigen Punkt in der Zeit (solange Sie am Leben sind).

(3) jeder der Kind Skripte werden es tun, die eigene Arbeit (Kinder teilen NICHT alle Informationen mit jedem anderen)

(4) an jedem beliebigen Punkt in der Zeit, die Eltern Skript muss in der Lage sein, für das annehmen von Nachrichten von allen seinen Kinder. Diese Nachrichten werden analysiert, die von der übergeordneten und Ursache der numpy array von (1) zu ändern.

Wie gehe ich vor, wenn arbeiten in python im Linux Umfeld? Ich dachte, der Verwendung von zeroMQ und haben die Eltern eine einzelne Abonnenten während der Kinder alle Verlage; macht es Sinn oder gibt es eine bessere Möglichkeit dafür?

Auch, wie kann ich alle Kinder kontinuierlich Lesen den Inhalt der numpy array definiert wurde, indem die Eltern ?

InformationsquelleAutor user3262424 | 2011-07-14
  1. 14

    Den sub Kanal nicht haben, um das ein zu binden, so können Sie die Abonnenten binden, und jedes der Kinder pub - Kanäle herstellen können, und schicken Sie Ihre Nachrichten. In diesem speziellen Fall, denke ich, dass die multiprocessing Modul ist eine bessere Passform, aber ich dachte, es trug zu erwähnen:

    import zmq
import threading

# So that you can copy-and-paste this into an interactive session, I'm
# using threading, but obviously that's not what you'd use

# I'm the subscriber that multiple clients are writing to
def parent():
    context = zmq.Context()
    socket = context.socket(zmq.SUB)
    socket.setsockopt(zmq.SUBSCRIBE, 'Child:')
    # Even though I'm the subscriber, I'm allowed to get this party 
    # started with `bind`
    socket.bind('tcp://127.0.0.1:5000')

    # I expect 50 messages
    for i in range(50):
        print 'Parent received: %s' % socket.recv()

# I'm a child publisher
def child(number):
    context = zmq.Context()
    socket = context.socket(zmq.PUB)
    # And even though I'm the publisher, I can do the connecting rather
    # than the binding
    socket.connect('tcp://127.0.0.1:5000')

    for data in range(5):
        socket.send('Child: %i %i' % (number, data))
    socket.close()

threads = [threading.Thread(target=parent)] + [threading.Thread(target=child, args=(i,)) for i in range(10)]
for thread in threads:
    thread.start()

for thread in threads:
    thread.join()

    Insbesondere die Kern-Messaging-Muster Teil der Dokumentation beschreibt die Tatsache, dass das Muster auf beiden Seiten zu binden (und die anderen schließen).

    • Ich denke, du meinst sagen zu müssen... "The PUB channel muss nicht sein, die eins-zu-binden"
    • Ich kopierte diese in ein py-script und es lief. Es hängt nur auf dem recv-Befehl und nie druckt nichts.
    • Seine wahrscheinlich, weil Sie nicht warten, bis die Verbindung zu beenden. Ich habe Zeit.sleep(0.1) nach dem verbinden und es funktionierte.
    • Für mich arbeiten in einem Subnetz zwischen den Knoten
    • Beachten Sie, dass Sie wahrscheinlich nicht erleben eine große Leistungssteigerung, als GIL reduziert die Chancen, dass Ihre threads auch wirklich parallel laufen. Wie oben erwähnt können Sie vermeiden, dass durch die multiprocessing Modul. Siehe z.B. emptysqua.re/blog/grok-die-gil-schnell-thread-safe-python für eine gute Erklärung des GIL.
    InformationsquelleAutor Dan Lecocq
  2. 4

    Ich denke, es macht mehr Sinn, PUSH - /PULL-sockets, wie Sie ein standard - Ventilator - Arbeitnehmer - Spüle Szenario, mit der Ausnahme, dass der Ventilator und die Waschbecken sind ein und derselbe Prozess.

    Überlegen Sie auch, mit dem multiprocessing Modul anstelle von ZeroMQ. Es wird wahrscheinlich ein wenig leichter.

    • die tsg, ich danke Ihnen für Ihre Antwort. multiprocessing ist gut-aber kann ich es verwenden, um zu teilen numpy array? my shared object (idealerweise numpy array) wird eine matrix von 20,000,000 x 5 Elemente. Eine regelmäßige list wird ein großer Speicher verschwenden.
    • auch, wie gebe ich die Eltern numpy array für das LESEN unter allen Kinder?
    • Die Verwendung von threads anstelle von Prozessen. NumPy Veröffentlichungen der GIL.
    InformationsquelleAutor tsg
  3. -1

    In ZeroMQ es kann nur einen Verlag pro port. Nur die (hässlichen) workaround starten, jedes Kind PUB-socket auf einem anderen port und die Eltern hören auf alle diese ports.

    aber die pipeline-Muster beschreiben, auf 0MQ, user guide ist ein viel besserer Weg, dies zu tun.

    • Dies ist nicht ganz richtig. Sie können nur binden ein socket an einen port, aber in diesem Szenario gibt es keinen Grund, nicht zu binden, mit dem SUB, und schließen Sie alle PUBs zu, dass ein port. ZeroMQ nicht an binden/verbinden Richtungen.
    InformationsquelleAutor fccoelho
Schreibe einen Kommentar