Python urllib2 das automatische ausfüllen und den Abruf der Ergebnisse

Ich bin auf der Suche, um in der Lage sein, um die Abfrage einer Website für Garantie-Informationen auf eine Maschine, mit der dieses Skript laufen würde, auf. Es sollte in der Lage sein, ein Formular ausfüllen, wenn erforderlich ( wie in dem Fall sagen, dass HP-service-Website) und würde dann in der Lage sein, um das abrufen der resultierenden web-Seite.

Ich habe schon die bits an Ort und Stelle zu analysieren, die daraus resultierenden html-Code, der zurück gemeldet ich hab nur Probleme mit dem, was getan werden muss, um einen BEITRAG von Daten, die gestellt werden muss, in die Felder und dann abrufen zu können, wird die resultierende Seite.

InformationsquelleAutor tak | 2011-04-14
  1. 16

    Wenn Sie absolut müssen zu verwenden, urllib2, der Grundtenor ist:

    import urllib
import urllib2
url = 'http://whatever.foo/form.html'
form_data = {'field1': 'value1', 'field2': 'value2'}
params = urllib.urlencode(form_data)
response = urllib2.urlopen(url, params)
data = response.read()

    Wenn Sie entlang senden-POST-Daten (das 2. argument urlopen()), die request-Methode wird automatisch zu POSTEN.

    Ich schlage vor, Sie tun sich einen gefallen und verwenden Sie mechanisieren, ein full-geblasen urllib2 ersetzt und wirkt genau wie ein echter browser. Eine Menge von Websites verwenden hidden-Feldern, cookies und redirects, von denen keine urllib2 Griffe für Sie standardmäßig, wo mechanize nicht.

    Check-out Emuliert einen browser in Python mechanize für ein gutes Beispiel.

    • Ich werde auch eine Abstimmung für mechanisieren. Ich habe es verwendet eine Anzahl von Zeiten. Wirklich hilfreich und viel einfacher als das urllib und urllib2 tut für komplexe Dinge.
    • Ich bin damit einverstanden. Mechanize ist das standard-tool, dies zu tun. Nicht verwenden, urllib2, es sei denn Sie absolut müssen.
    InformationsquelleAutor jathanism
  2. 1

    Mit das urllib und urllib2 zusammen,

    data = urllib.urlencode([('field1',val1), ('field2',val2)]) # list of two-element tuples
content = urllib2.urlopen('post-url', data)

    Inhalt wird Ihnen der Quelltext der Seite.

    InformationsquelleAutor gladysbixly
  3. 0

    Habe ich nur getan, ein bisschen von diesem, aber:

    1. Du hast den HTML-Code der Formular Seite. Extrahieren Sie die name Attribut für jedes Formular-Feld müssen Sie ausfüllen.
    2. Erstellen eines dictionary-Zuordnung der Namen der einzelnen Formular-Feld mit den Werten, die Sie möchten, senden.
    3. Verwenden urllib.urlencode drehen Sie das Wörterbuch, in den Körper der post Anfrage.
    4. Gehören diese codierten Daten, die als zweites argument an urllib2.Request() nach der URL, das Formular muss eingereicht werden.

    Server wird, kehren Sie entweder die resultierende web-Seite, oder zurück eine Umleitung auf eine resultierende web-Seite. Wenn es die letztere, die Sie benötigen, um ein Problem GET - Anforderung an die angegebene URL im redirect-Antwort.

    Ich hoffe, dass macht eine Art von Sinn?

    InformationsquelleAutor Paul D. Waite
Schreibe einen Kommentar