Timeout für urllib2.urlopen () in vor Python 2.6-Versionen

Den urllib2 Dokumentation sagt, dass timeout parameter wurde Hinzugefügt, die in Python 2.6. Leider ist mein code-Basis hat, läuft schon auf Python 2.5 und 2.4-Plattformen.

Gibt es eine Alternative Möglichkeit zur Simulation der timeout? Alles was ich tun möchte ist ermöglichen, den code zu sprechen, den remote-server für eine bestimmte Zeit.

Vielleicht eine alternative gebaut-in-Bibliotheken? (Will nicht installieren 3rd-party, wie pycurl)

InformationsquelleAutor der Frage rubayeet | 2010-01-18

  1. 57

    können Sie ein globales Zeitlimit für alle socket-Operationen (einschließlich der HTTP-requests) durch den Einsatz von:

    socket.setdefaulttimeout()

    wie diese:

    import urllib2
import socket
socket.setdefaulttimeout(30)
f = urllib2.urlopen('http://www.python.org/')

    in diesem Fall, Ihre urllib2 Anfrage-timeout nach 30 Sekunden, und werfen eine socket-exception. (dies wurde in Python 2.3)

    InformationsquelleAutor der Antwort Corey Goldberg

  2. 4

    Mit erheblichen Irritationen, können Sie das überschreiben der httplib.HTTPConnection-Klasse, die urllib2.HTTPHandler verwendet.

    def urlopen_with_timeout(url, data=None, timeout=None):

  # Create these two helper classes fresh each time, since
  # timeout needs to be in the closure.
  class TimeoutHTTPConnection(httplib.HTTPConnection):
    def connect(self):
      """Connect to the host and port specified in __init__."""
      msg = "getaddrinfo returns an empty list"
      for res in socket.getaddrinfo(self.host, self.port, 0,
                      socket.SOCK_STREAM): 
        af, socktype, proto, canonname, sa = res
        try:
          self.sock = socket.socket(af, socktype, proto)
          if timeout is not None:
            self.sock.settimeout(timeout)
          if self.debuglevel > 0:
            print "connect: (%s, %s)" % (self.host, self.port)
          self.sock.connect(sa)
        except socket.error, msg:
          if self.debuglevel > 0:
            print 'connect fail:', (self.host, self.port)
          if self.sock:
            self.sock.close()
          self.sock = None
          continue
        break
      if not self.sock:
        raise socket.error, msg

  class TimeoutHTTPHandler(urllib2.HTTPHandler):
    http_request = urllib2.AbstractHTTPHandler.do_request_
    def http_open(self, req):
      return self.do_open(TimeoutHTTPConnection, req)

  opener = urllib2.build_opener(TimeoutHTTPHandler)
  opener.open(url, data)

    InformationsquelleAutor der Antwort Philip Z

  3. 2

    Ich denke, Ihre beste Wahl ist, um den patch (oder bereitstellen einer lokalen version) Ihre urllib2 mit der Wechsel von der 2.6 Wartung Zweig

    Die Datei sollte im /usr/lib/python2.4/urllib2.py (unter linux 2.4)

    InformationsquelleAutor der Antwort Kimvais

  4. 1

    Benutze ich httplib aus der standard-Bibliothek. Es hat eine tote einfache API, aber nur mit http als Sie vielleicht erraten. IIUC das urllib verwendet httplib zu implementieren, die http-Sachen.

    InformationsquelleAutor der Antwort Kris Walker

  5. 1

    Müssen Sie set timeout an zwei stellen.

    import urllib2
import socket

socket.setdefaulttimeout(30)
f = urllib2.urlopen('http://www.python.org/', timeout=30)

    InformationsquelleAutor der Antwort Daniel Magnusson

  6. 0

    Gut, der Weg timeout-Handling ist entweder 2.4 oder 2.6 ist die gleiche. Wenn Sie öffnen Sie die urllib2.py Datei in 2.6 u sehen würde, es braucht ein zusätzliches argument als timeout und verarbeitet es mit Hilfe der socket.defaulttimeout () - Methode wie bereits erwähnt ist Antwort 1.

    So dass Sie wirklich brauchen nicht aktualisieren Sie Ihre urllib2.py in diesem Fall.

    InformationsquelleAutor der Antwort Konark Modi

Schreibe einen Kommentar