Welches ist das Beste in Python: urllib2, PycURL oder mechanize?

Ich denke, dieser Vortrag (auf pycon 2009), hat die Antworten für das, was Sie suchen (Asheesh Laroia hat viel Erfahrung auf der Rolle). Und er weist darauf hin, die guten und die schlechten von den meisten Ihrer Präsentation

• Kratzen Web: Strategien für
  Programmierung von Webseiten, die nicht
  erwarten Sie (Teil 1 von 3)
• Kratzen Web: Strategien für
  Programmierung von Webseiten, die nicht
  es erwarten (Teil 2 von 3)
• Kratzen Web: Strategien für
  Programmierung von Webseiten, die nicht
  erwarten Sie (Teil 3 von 3)

Aus der PYCON 2009 Zeitplan:

Tun, finden Sie sich konfrontiert mit
- websites, die Daten, die Sie brauchen, um
extrahieren?
Würde Ihr Leben einfacher sein, wenn
Sie könnten programmgesteuert input-Daten
in web-Anwendungen, auch diejenigen,
abgestimmt zu widerstehen Interaktion von bots?

Besprechen wir die Grundlagen von web
Schaben, und dann Tauchen Sie ein in die
details von unterschiedlichen Methoden und wo
Sie am besten einsetzbar sind.

Werden Sie verlassen
mit einem Verständnis von, wenn gilt
unterschiedlichen tools und erfahren Sie mehr über
"schwerer hammer" für screen scraping
ich nahm an einem Projekt für die
Electronic Frontier Foundation.

Atendees sollten einen laptop mitbringen, wenn
möglich, zu versuchen, die Beispiele, die wir
diskutieren und Optional Notizen.

Update:
Asheesh Laroia aktualisiert hat seine Präsentation für die pycon 2010

• PyCon 2010: Kratzen Web:
  Strategien für die Programmierung von Webseiten
  dass nicht erwartet, dass es

  * My motto: "The website is the API."
  * Choosing a parser: BeautifulSoup, lxml, HTMLParse, and html5lib.
  * Extracting information, even in the face of bad HTML: Regular expressions, BeautifulSoup, SAX, and XPath.
  * Automatic template reverse-engineering tools.
  * Submitting to forms.
  * Playing with XML-RPC
  * DO NOT BECOME AN EVIL COMMENT SPAMMER.
  * Countermeasures, and circumventing them:
        o IP address limits
        o Hidden form fields
        o User-agent detection
        o JavaScript
        o CAPTCHAs 
  * Plenty of full source code to working examples:
        o Submitting to forms for text-to-speech.
        o Downloading music from web stores.
        o Automating Firefox with Selenium RC to navigate a pure-JavaScript service. 
  * Q&A; and workshopping
  * Use your power for good, not evil. 

Update 2:

PyCon US-2012 - Web scraping: Zuverlässig und effizient ziehen die Daten von Seiten, die es nicht erwarten

Spannende Informationen ist gefangen in web-Seiten und hinter HTML-Formulare. In diesem tutorial, >erfahren Sie, wie zu analysieren, diese Seiten und, wenn um fortschrittliche Techniken, die das machen, >kratzen schneller und stabiler. Wir ll decken die parallele downloads mit Twisted, gevent, >und andere; die Analyse von Websites hinter SSL; driving-JavaScript-y-Seiten mit Selen; und >die Umgehung der gemeinsamen anti-scraping Techniken.

InformationsquelleAutor der Antwort Diego Castro

"Holen Sie sich einige Webseiten", verwenden Sie Anfragen!

Vom http://docs.python-requests.org/en/latest/ :

Python ' s standard-urllib2-Modul bietet die meisten HTTP
Fähigkeiten, die Sie benötigen, aber die API ist gründlich gebrochen. Es wurde gebaut,
für eine andere Zeit und eine andere Webseite. Es erfordert eine enorme
Umfang der Arbeit (auch Methode überschreibt), um die einfachsten
Aufgaben.

Dinge sollten nicht so sein. Nicht in Python.

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}

InformationsquelleAutor der Antwort mit

Urllib2 unterstützt nur HTTP GET und POST, es gibt vielleicht workarounds, aber Wenn die app hängt sich auf andere HTTP-Verben, werden Sie wahrscheinlich lieber ein anderes Modul.

InformationsquelleAutor der Antwort mikerobi

Werfen Sie einen Blick auf Grab (http://grablib.org). Es ist eine Netzwerk-Bibliothek stellt zwei Haupt-Schnittstellen:
1) Greifen für die Erstellung von Netzwerk-Anfragen und analysieren von abgerufenen Daten
2) Spinne für das erstellen von bulk-Website Schaber

Unter die Haube Packen verwendet pycurl und lxml aber es ist möglich andere Netz transportiert (zum Beispiel Anfragen, die Bibliothek). Anforderungen-transport ist nicht gut getestet wurden noch.

InformationsquelleAutor der Antwort Gregory Petukhov