Python-requests, IP-Adresse ändern

Ich bin Codierung einer web-Spachtel für die website mit dem folgenden Python-code:

import requests

def scrape(url):
    req = requests.get(url)
    with open('out.html', 'w') as f:
        f.write(req.text)

Es funktioniert ein paar mal, aber dann ein Fehler HTML-Seite zurückgegeben, die von der Webseite (wenn ich öffne meine browser, ich habe ein captcha zu vervollständigen).

Gibt es eine Möglichkeit, dies zu vermeiden, "ban", beispielsweise durch ändern der IP-Adresse?

  • WENN das Verbot basiert auf Ihrer IP-Adresse, dann ja ändern der IP-Adresse eventuell beheben, aber das ist nicht etwas, python hat die Kontrolle über.
  • Naja, ändern Sie die IP-Adresse, die Sie ausführen können, um die exakt gleiche code auf einem anderen system mit einer anderen IP-Adresse...
  • Haben Sie Bedenken, wenn Sie immer banned und es gibt eine captcha-vielleicht der Besitzer der Seite will nicht, dass Sie kratzen Ihre Website?
  • Warum versuchst du nicht mit einem proxy?
InformationsquelleAutor Blincer | 2018-01-25
  1. 3

    Wie bereits erwähnt in den Kommentaren und von sich selbst, ändern Sie die IP-helfen könnte. Um dies ganz einfach tun, haben Sie einen Blick auf vpngate.py:

    https://gist.github.com/Lazza/bbc15561b65c16db8ca8

    Einer, Wie man an den link.

    Spaß haben

    • Dies ist eine gute option, ich werde versuchen, den code zu modifizieren und machen es leichter zu verwenden als eine Funktion.
    InformationsquelleAutor Rend
Schreibe einen Kommentar