Anfragen.Holen Sie sich in Python mit "User-Agent" nicht simulieren, eine browser-Anfrage

Habe ich zum sammeln von Informationen aus Webseiten mit Hilfe von Python aus einem Linux-terminal funktioniert es wunderbar, aber einige Seiten (nicht alle) abrufen ungültige URL ' s, wenn ich versuche, Anfragen.Holen Sie sich durch Sie haben Agenten Detektoren, und Sie nicht wissen, wie die Antwort auf meine Anfrage (ich bin kein browser-oder mobile-Anwendung, aus einem Linux-terminal).

Durch ein "User-Agent" - header hat nicht funktioniert entweder, ich habe versucht, mehrere verschiedene Möglichkeiten, es zu senden, zu emulieren, ich bin ein Mozilla-browser:

user_agent = {'User-Agent': 'Mozilla/5.0'}

oder

user_agent = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; hu-HU; rv:1.7.8) Gecko/20050511 Firefox/1.0.4'}

oder viele andere Kombinationen.

In einigen Servern, wenn ich versuche, mit dieser Zeile:

page = requests.get(url, headers=user_agent)

Bekomme ich ein schlechtes Anfrage, da diese Server versuchen, senden Sie mir eine Webseite für desktop-oder mobilen Browsern, und Sie scheitern, um es zu identifizieren.

Mache ich etwas falsch senden einer Benutzer-Agent in dieser Weise? Ich habe versucht meinen code in einem Python-Notebook und es funktioniert perfekt durch, derzeit bin ich (natürlich) senden einer Anforderung von einem browser.

Vielleicht sind Sie versucht, zu laufen, etwas JavaScript zum erkennen des Browsers. Haben Sie einen Blick auf die Seite Quelle.
Es ist unwahrscheinlich, dass Sie Ihre Python-Notebook beeinträchtigen würden Kopfzeilen Ihrer requests Anfragen. Ein Tipp: Versuchen Sie, fügen Sie auch einige Referer-header (heute fand ich eine Seite, in Indien, war die Beantwortung 404 im Falle von fehlenden Referer).
Aber es ist sehr einfach, um das Problem zu identifizieren, sende ich eine Anfrage von meinem terminal und es wird einem nicht ermittelten Quelle, schicke ich es aus python-notebook und es funktioniert. Ich werde versuchen, fügen Sie einen referrer zu sehen, ob das funktioniert
Sie können immer http://httpbin.org/get zu haben-Header zurückgegeben wird; wahrscheinlich brauchen Sie mehr als nur ein User-Agent-header, requests ist nicht mangeln diese. Hinzufügen eines Referrer vielleicht?
Ich schlage vor, Sie verwenden ein tool wie wireshark, um genau zu sehen, was der dialog zwischen dem server und einem aktuellen browser. Sie werden sehen, wenn es sich um cookies, javascript, benutzerdefinierte Kopf-oder ...

InformationsquelleAutor Maximiliano Rios | 2014-05-26

  1. 8

    Sind Sie mit einer sehr alten user-agent und in der Tat einige Websites blockieren, Sie weil dieser.

    >>> import requests
>>> header = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:32.0) Gecko/20100101 Firefox/32.0',}
>>> url = 'http://www.w3.org/'
>>> r = requests.get(url, headers=header)
>>> r.headers
CaseInsensitiveDict({'content-length': '40737', 'content-location': 'Home.html', 'accept-ranges': 'bytes', 'expires': 'Tue, 24 Jun 2014 04:44:36 GMT', 'vary': 'negotiate,accept', 'server': 'Apache/2', 'tcn': 'choice', 'last-modified': 'Mon, 23 Jun 2014 11:15:15 GMT', 'etag': '"9f21-4fc7ef51956c0;89-3f26bd17a2f00"', 'cache-control': 'max-age=600', 'date': 'Tue, 24 Jun 2014 04:34:36 GMT', 'p3p': 'policyref="http://www.w3.org/2001/05/P3P/p3p.xml"', 'content-type': 'text/html; charset=utf-8'})
>>> r.request.headers
CaseInsensitiveDict({'Accept-Encoding': 'gzip, deflate, compress', 'Accept': '*/*', 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:32.0) Gecko/20100101 Firefox/32.0'})
>>>

    InformationsquelleAutor karlcow

  2. 3

    Ich verwendet fake UserAgent

    Wie zu verwenden:

    from fake_useragent import UserAgent
import requests


ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url = "https://www.hybrid-analysis.com/recent-submissions?filter=file&sort=^timestamp"
htmlContent = requests.get(url, headers=header)
print(htmlContent)

    Ausgabe:

    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17
{'User-Agent': 'Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}
<Response [200]>

    InformationsquelleAutor Umesh Kaushik

Schreibe einen Kommentar