multiprocessing vs multithreading vs asyncio in Python 3.4

Fand ich, dass in Python 3.4 gibt es nur wenige verschiedene Bibliotheken für multiprocessing/- threading: multiprocessing vs threading vs asyncio.

Aber ich weiß nicht, was man verwenden oder ist das "empfehlenswert". Tun Sie das gleiche, oder sind das verschiedene? Wenn ja, welche ist für was? Ich möchte ein Programm schreiben, nutzt multicores in meinem computer. Aber ich weiß nicht, die Bibliothek, die ich lernen sollte.

InformationsquelleAutor user3654650 | 2014-12-12
  1. 47

    Bestimmt sind (leicht) unterschiedlichen Zwecken dienen und/oder Anforderungen. CPython (eine typische, fern-Python-Implementierung) hat immer noch die global interpreter lock so ein multi-threaded-Anwendung (ein standard-Weg, um die Parallelverarbeitung implementieren heute) ist suboptimal. Das ist, warum multiprocessing kann bevorzugt werden, die über threading. Aber nicht jedes problem kann effektiv aufgeteilt in [fast unabhängig] Stücke, so kann es notwendig sein, in schweren interprocess communications. Das ist, warum multiprocessing können nicht vorgezogen werden threading im Allgemeinen.

    asyncio (diese Technik ist nicht nur in Python, weitere Sprachen und/oder frameworks haben es auch, z.B. Boost.ASIO) ist eine Methode, um effektiv zu behandeln eine Menge von I/O-Operationen von vielen gleichzeitigen Quellen w/o Notwendigkeit der parallelen Ausführung von code. Es ist also nur eine Lösung (eine gute Tat!) für eine bestimmte Aufgabe, nicht für die parallele Verarbeitung im Allgemeinen.

    • Erwähnenswert, dass, während alle drei können nicht erreichen, Parallelität, Sie sind alle in der Lage zu tun Auger (non-blocking) Aufgaben.
    InformationsquelleAutor user3159253
  2. 26

    [Schnelle Antwort]

    TL;DR

    Die Richtige Wahl:

    Wir haben ging durch die beliebtesten Formen der Parallelität. Aber die Frage bleibt - Wann soll wählen, welche? Es hängt wirklich von der use-cases. Aus meiner Erfahrung (und Lesen), ich Neige dazu, Folgen Sie diesem pseudo-code:

    if io_bound:
    if io_very_slow:
        print("Use Asyncio")
    else:
        print("Use Threads")
else:
    print("Multi Processing")
    • CPU => Multi-Processing
    • I/O-Bound, Schnelle I/O, Beschränkt die Anzahl der Verbindungen => Multi-Threading -
    • I/O-Gebunden, Langsam, I/O, Viele verbindungen => Asyncio

    Referenz

    [HINWEIS]:

    • Wenn Sie eine long-call-Methode (also eine Methode, die mit einem mal schlafen oder faul I/O), die beste Wahl ist asyncio, Twisted oder Tornado Ansatz (coroutine Methoden), das funktioniert mit einem einzelnen thread als Parallelität.
    • asyncio funktioniert auf Python ist3.4 und später.
    • Tornado und Twisted sind bereit seit Python2.7
    • uvloop ist ultra schnell asyncio Ereignis-Schleife (uvloop macht asyncio 2-4x schneller).
    • Also wenn ich eine Liste von urls, auf Anfrage, ist es besser, verwenden Sie Asyncio?
    • Ja, aber im Kopf behalten, könnten Sie von asyncio wenn Sie von erwartbaren Funktionen request Bibliothek ist nicht erwartbaren-Methode statt, die Sie verwenden können wie das aiohttp Bibliothek oder async-request und etc.
    InformationsquelleAutor Benyamin Jafari
Schreibe einen Kommentar