Python compute cluster

Können Sie sehen, die meisten third-party-Pakete für Python 3 aufgeführt hier; relevante cluster-Berechnung ist mpi4py - die meisten anderen distributed-computing-tools wie pyro sind noch Python 2, aber MPI ist ein führender standard für die cluster verteilten Berechnung und auch auf der Suche nach (ich habe keine direkte Erfahrung mit mpi4py mit Python 3, noch nicht, aber vom Hörensagen, ich glaube, es ist eine gute Umsetzung).

Die wichtigste alternative ist Python-eigenen built-in multiprocessing, die skaliert ziemlich gut, wenn Sie kein Interesse haben, dich bereits vorhandenen Knoten, die hinsichtlich des MPI-standards, kann aber nicht programmiert werden, die in Python.

Gibt es keinen echten Mehrwert in Ihre eigenen Rollen (wie Atwood sagt, das Rad nicht neu erfinden, es sei denn, Ihr Zweck ist, nur um besser zu verstehen Räder!-) -- verwenden Sie eine der die stabile, erprobte, weit verbreitete Lösungen, die bereits getestet, debugged und optimiert auf Ihren Auftrag!-)

Was möchten Sie tun? Sie möchten möglicherweise überprüfen Sie heraus hadoop. Das backend, schweres heben ist, erfolgt in java, hat aber eine python-Schnittstelle, so können Sie schreiben python-Skripte erstellen und versenden die Eingabe wie auch als Prozess die Ergebnisse.

Ich denke IPython.parallel ist der Weg zu gehen. Ich nutze es intensiv für das Letzte Jahr und eine Hälfte. Es ermöglicht das arbeiten interaktiv mit, wie viele worker-Knoten, wie Sie wollen. Wenn Sie auf der AWS-Plattform, StarCluster ist ein guter Weg, um IPython.parallel und läuft schnell und leicht, mit so vielen EC2-Knoten als Sie sich leisten können. (Es kann auch die automatische Installation von Hadoop, und eine Vielzahl von anderen nützliche tools, wenn nötig.) Es gibt einige tricks, um es zu benutzen. (Zum Beispiel, Sie wollen nicht, um das senden von großen Mengen von Daten durch die IPython.parallele Schnittstelle selbst. Besser zu verteilen, ein script, das pull-down-Datenblöcke auf jeden Motor einzeln.) Aber insgesamt, ich habe festgestellt, dass es eine bemerkenswert einfache Art und Weise zu tun, die verteilte Verarbeitung (WEG besser als Hadoop!)