Python-Requests: warten Sie nicht auf die Anforderung zu beenden

In der Bash ist es möglich, einen Befehl auszuführen, der im hintergrund durch Anhängen &. Wie kann ich es in Python?

while True:
    data = raw_input('Enter something: ') 
    requests.post(url, data=data) # Don't wait for it to finish.
    print('Sending POST request...') # This should appear immediately.
  • Im Gegensatz zu CPU-bound-concurrency-Probleme in Python, das könnte eventuell gelöst werden, mit einem separaten thread, oder die Verwendung von multiprocessing.dummy für einen thread-pool.
InformationsquelleAutor octosquidopus | 2014-11-19
  1. 21

    Benutze ich multiprocessing.dummy.Pool. Ich erstelle ein singleton thread-pool auf der Modul-Ebene, und verwenden Sie dann pool.apply_async(requests.get, [params]) starten Sie die Aufgabe.

    Dieser Befehl gibt mir eine Zukunft, die ich hinzufügen können, um eine Liste mit anderen futures auf unbestimmte Zeit, bis ich würde gerne erfassen alle oder einige der Ergebnisse.

    multiprocessing.dummy.Pool ist, gegen alle Logik und Vernunft, eine THREAD-pool-und nicht ein Prozess-pool.

    Beispiel (funktioniert in Python 2 und 3, solange Anforderungen installiert ist):

    from multiprocessing.dummy import Pool

import requests

pool = Pool(10) # Creates a pool with ten threads; more threads = more concurrency.
                # "pool" is a module attribute; you can be sure there will only
                # be one of them in your application
                # as modules are cached after initialization.

if __name__ == '__main__':
    futures = []
    for x in range(10):
        futures.append(pool.apply_async(requests.get, ['http://example.com/']))
    # futures is now a list of 10 futures.
    for future in futures:
        print(future.get()) # For each future, wait until the request is
                            # finished and then print the response object.

    Die Anfragen werden parallel ausgeführt, so laufen alle zehn von diesen Anforderungen sollte nicht länger als der längste. Diese Strategie wird nur ein CPU-core, aber das sollte kein Problem sein, weil fast alle die Zeit des Wartens auf I/O.

    • Deine Lösung sieht interessant, aber auch verwirrend. Was ist eine Zukunft? Was ist das Modul-Ebene? Könnten Sie ein Beispiel?
    • Hinzugefügt Beispiel zu beantworten
    • Dein Beispiel funktioniert gut, aber das ist nicht genau das, was ich versuche zu tun. Anstatt das versenden von gleichzeitigen Anfragen, die ich möchte senden Sie ein zu einer Zeit, aber ohne die Blockierung der rest des Codes. Mein Beispiel sollte jetzt sein weniger zweideutig.
    • Das ist in Ordnung, Sie können tun, dass mit meinem Beispiel auch. Alle meinem Beispiel tut, ist zu verfolgen futures in einer Liste, und fügen Sie ein paar von Ihnen auf einmal in einer Schleife. Wenn Sie entfernen Sie die Schleife, und statt requests.post(*args, **kwargs) Sie verwenden futures.append(pool.apply_async(requests.post, args, kwargs)) dann können Sie Ihr Modell und dem auslösen des requests one at a time, aber Sie müssen nicht warten, bis Sie abgeschlossen ist. Die Anfragen werden sofort ausgeführt, wenn apply_async getroffen wird, werden Sie nicht warten, bis Sie sammeln die futures.
    • Ich fand schließlich heraus, dass die richtige Formatierung von requests.post(url, data=data) ist pool.apply_async(s.post, [url, data, data]). Nun, warum bekomme ich einen "NameError: name 'Daten' ist nicht definiert" - Fehler, wenn ich den Namen ändern, der data variable? Man würde denken, dass es ja egal...
    • Ich denke, die Formatierung sollte pool.apply_async(requests.post, [url], {'data': data}). Die Funktion, die Unterschrift ist im wesentlichen (function_to_run, list_of_positional_args, dict_of_kwargs).
    • Wie bekomme ich eine .status_code aus eine Anfrage gesendet mit r = pool.apply_async(...) ohne es in eine Liste? r.status_code gibt ein AttributeError.
    • r ist nicht ein Antwort-Objekt, es ist eine Zukunft, für ein response-Objekt. Erhalten Sie die wirkliche Reaktion mit r.get() -- erzeugt ein response-Objekt, das ist das gleiche wie jeder andere. Wenn Sie wollen nur den status-code, den Sie tun konnte r.get().status_code (beachten Sie, dass, wenn der Antrag führte zu einer Ausnahme, die Ausnahme wird ausgelöst, wenn Sie anrufen get()). Sie können auch response = r.get() und normal fortfahren. Wenn Sie r.get() vor der eigentlichen asynchrone Anforderung abgeschlossen ist, dann werden Sie automatisch warten Sie, bis die Anforderung abgeschlossen ist, bevor Sie fortfahren.

    InformationsquelleAutor Andrew Gorcester
  2. 15

    Hier ist ein hacky Weg, es zu tun:

    try:
    requests.get("http://127.0.0.1:8000/test/",timeout=0.0000000001)
except requests.exceptions.ReadTimeout: 
    pass
    • Sie können den Verlust einer Reaktion dieser Art Häufig. Die Frage war über Anforderungen.post und sein Körper ist auch mehr zerbrechlich mit einem sehr kurzen timeout als eine einfache bekommen.
    • funktioniert gut, wenn wir brauchen keine Antwort von der api
    InformationsquelleAutor keithhackbarth
  3. 4

    Elegante Lösung aus Andrew Gorcester. Außerdem, ohne den Einsatz von futures, ist es möglich, die callback und error_callback Attribute (siehe
    doc) zur Durchführung von asynchronen Verarbeitung:

    def on_success(r: Response):
    if r.status_code == 200:
        print(f'Post succeed: {r}')
    else:
        print(f'Post failed: {r}')

def on_error(ex: Exception):
    print(f'Post requests failed: {ex}')

pool.apply_async(requests.post, args=['http://server.host'], kwargs={'json': {'key':'value'},
                        callback=on_success, error_callback=on_error))
    InformationsquelleAutor Nemolovich
  4. 2

    Entsprechend der doc, sollten Sie in einer anderen Bibliothek :

    Sperrung Oder Nicht-Sperrung?

    Mit den Standard-Transport-Adapter vorhanden, Anfragen nicht geben
    jede Art von non-blocking IO. Die Antwort.content-Eigenschaft blockiert
    bis die gesamte response heruntergeladen wurden. Wenn Sie mehr benötigen
    die Granularität, die streaming-features der Bibliothek (siehe Streaming
    Anfragen) können Sie abrufen, kleinere Mengen der Antwort bei
    eine Zeit. Jedoch, diese Anrufe werden weiterhin blockieren.

    Wenn Sie sind besorgt über die Verwendung von blocking-IO, es gibt viele
    Projekte gibt, die kombiniert Anforderungen mit einem Python ' s
    Asynchronität frameworks.

    Zwei hervorragende Beispiele sind
    grequests und
    Anforderungen-futures.

    • Ich habe versucht, Anfragen-futures, aber es schlägt fehl csrf = s.cookies['csrftoken'].
    InformationsquelleAutor Romain Jouin
  5. 1

    Wenn Sie den code schreiben, der ausgeführt werden separat in einem separaten python-Programm, hier ist eine mögliche Lösung, basierend auf der Vergabe eines unterauftrags.

    Sonst können Sie nützlich finden diese Frage und Verwandte Antwort: der trick ist, verwenden Sie die threading-Bibliothek starten Sie einen separaten thread, der ausgeführt wird, die getrennt Aufgabe.

    Einen VORBEHALT mit beiden Ansatz könnte sein, die Anzahl der Elemente (also der Anzahl der threads), die Sie verwalten. Wenn die items in parent sind zu viele, können Sie erwägen, die Eindämmung jeder charge der Gegenstände, bis mindestens einige threads beendet haben, aber ich denke, diese Art von management ist nicht trivial.

    Weitere anspruchsvolle Ansatz, den Sie verwenden können, ein Schauspieler, der Ansatz, ich habe nicht verwendet diese Bibliothek mir, aber ich denke, es könnte helfen in diesem Fall.

    InformationsquelleAutor Chosmos
Schreibe einen Kommentar