Kann ich die Größe des Verbindungspools für Pythons "Anfragen" -Modul ändern?

(edit: Vielleicht bin ich falsch an dem, was dieser Fehler bedeutet. Ist dies anzeigt, dass die Verbindungs-pool an meinem CLIENT voll ist? oder ein connection-pool in der SERVER voll ist, und dies ist der Fehler, mein client ist gegeben?)

Ich bin versucht, eine große Anzahl von http Anforderungen gleichzeitig mit Hilfe der python - threading und requests Modul. Ich sehe diesen Fehler in den logs: 

WARNING:requests.packages.urllib3.connectionpool:HttpConnectionPool is full, discarding connection:

Was kann ich tun, um erhöhen Sie die Größe des verbindungspools für Anforderungen?

InformationsquelleAutor der Frage Skip Huffman | 2013-08-27

  1. 72

    Dies sollte den trick tun:

    import requests
sess = requests.Session()
adapter = requests.adapters.HTTPAdapter(pool_connections=100, pool_maxsize=100)
sess.mount('http://', adapter)
resp = sess.get("/mypage")

    InformationsquelleAutor der Antwort Jahaja

  2. 9

    Hinweis: Verwenden Sie diese Lösung nur, wenn Sie keine Kontrolle über den Aufbau der connection pool (wie beschrieben in @Jahaja Antwort).

    Das problem ist, dass die urllib3 schafft die pools auf Nachfrage. Er ruft den Konstruktor der urllib3.connectionpool.HTTPConnectionPool Klasse ohne Parameter. Die Klassen sind eingetragen in urllib3 .poolmanager.pool_classes_by_scheme. Der trick ist, ersetzen Sie die Klassen mit Ihren Klassen, die verschiedene Standard-Parameter:

    def patch_http_connection_pool(**constructor_kwargs):
    """
    This allows to override the default parameters of the 
    HTTPConnectionPool constructor.
    For example, to increase the poolsize to fix problems 
    with "HttpConnectionPool is full, discarding connection"
    call this function with maxsize=16 (or whatever size 
    you want to give to the connection pool)
    """
    from urllib3 import connectionpool, poolmanager

    class MyHTTPConnectionPool(connectionpool.HTTPConnectionPool):
        def __init__(self, *args,**kwargs):
            kwargs.update(constructor_kwargs)
            super(MyHTTPConnectionPool, self).__init__(*args,**kwargs)
    poolmanager.pool_classes_by_scheme['http'] = MyHTTPConnectionPool

    Dann können Sie anrufen, um neue default-Parameter. Stellen Sie sicher, dies wird aufgerufen, bevor irgendeine Verbindung hergestellt wird.

    patch_http_connection_pool(maxsize=16)

    Wenn Sie https-verbindungen können Sie erstellen, die eine ähnliche Funktion:

    def patch_https_connection_pool(**constructor_kwargs):
    """
    This allows to override the default parameters of the
    HTTPConnectionPool constructor.
    For example, to increase the poolsize to fix problems
    with "HttpSConnectionPool is full, discarding connection"
    call this function with maxsize=16 (or whatever size
    you want to give to the connection pool)
    """
    from urllib3 import connectionpool, poolmanager

    class MyHTTPSConnectionPool(connectionpool.HTTPSConnectionPool):
        def __init__(self, *args,**kwargs):
            kwargs.update(constructor_kwargs)
            super(MyHTTPSConnectionPool, self).__init__(*args,**kwargs)
    poolmanager.pool_classes_by_scheme['https'] = MyHTTPSConnectionPool

    InformationsquelleAutor der Antwort Michael_Scharf

Schreibe einen Kommentar