Die Bestimmung umgeleitet, die URL in Python

Ich machte einen kleinen parser mit HTMLparser und ich würde gerne wissen, wo ein link umgeleitet wird. Ich weiß nicht, wie dies zu erklären, so schauen Sie bitte diesem Beispiel:

Auf meiner Seite habe ich einen link auf die Quelle: http://www.myweb.com?out=147, die Umleitungen zu http://www.mylink.com. Ich kann analysieren http://www.myweb.com?out=147 ohne Probleme, aber ich weiß nicht, wie man http://www.mylink.com.

InformationsquelleAutor MisterU | 2011-04-04
  1. 11

    Können Sie urllib2 (das urllib.Anfrage in Python 3) und seine HTTPRedirectHandler, um heraus zu finden, wo eine URL umleiten. Hier ist eine Funktion, die das tut:

    import urllib2

def get_redirected_url(url):
    opener = urllib2.build_opener(urllib2.HTTPRedirectHandler)
    request = opener.open(url)
    return request.url

print get_redirected_url("http://google.com/")
# prints "http://www.google.com/"
    • Ein kleines Manko dabei ist, dass wenn ein redirect leitet zu einer anderen umzuleiten, erhalten Sie lediglich die letzten umleiten. Zum Beispiel, sagen Sie ein "t".co (Twitter URL shortener) link, der bezieht sich eigentlich auf ein bisschen.ly-link, der bezieht sich auf einige echte website, dann erhalten Sie die "echte" website, anstatt das bit.ly-link. Dies kann oder kann nicht sein, was man will.
    • Und im Fall, dass sich jemand anderes suchen, für die Antwort, der sieht, diese Frage, die Requests-Bibliothek (docs.python-requests.org/en/latest/index.html) macht dies nicht nur möglich, sondern auch trivial.
    InformationsquelleAutor REINSTATE MONICA -Jeremy Banks
  2. 3

    Können Sie nicht fassen die URL-Umleitung durch das Parsen der HTML-source-code.
    Umleitungen ausgelöst werden, indem der server und NICHT der client. Sie müssen führen Sie eine HTTP-Anforderung an den zugehörigen URL und überprüfen Sie die HTTP-response des Servers - insbesondere für die HTTP-status-code 304 (Umleitung) und die neue URL.

    InformationsquelleAutor Andreas Jung
Schreibe einen Kommentar