Python-download alle Dateien aus internet-Adresse?

Möchte ich alle Dateien herunterladen, die von einer internet-Seite, die eigentlich alle image-Dateien.
Ich fand die "das urllib' Modul sein, was ich brauche. Es scheint eine Methode, um eine Datei herunterzuladen, wenn Sie wissen, die mit dem Namen, aber ich nicht.

urllib.urlretrieve('http://www.example.com/page', 'myfile.jpg')

Gibt es eine Methode, um download alle die Dateien von der Seite und vielleicht wieder eine Liste?

  • Haben Sie schon von wget?
  • mögliche Duplikate von Web scraping mit Python
  • Kann nicht finden, viel info. Vielleicht ein kleines Beispiel-script?
  • Brock123 hast du gelesen das link @Matte oben gepostet? Es Punkte, die Sie in Richtung BeautifulSoup für das kratzen der Seite, die Sie verwenden können, zu finden, die URLs für die Dateien die Sie dann herunterladen wollen.
InformationsquelleAutor Brock123 | 2011-10-01
  1. 7

    Hier ein kleines Beispiel, um Ihnen den Einstieg mit BeautifulSoup für diese Art von übung - geben Sie dieses Skript eine URL, und es wird drucken Sie die URLs von Bildern, die über einen Verweis von dieser Seite in die src Attribut img - tags, die am Ende mit jpg oder png:

    import sys, urllib, re, urlparse
from BeautifulSoup import BeautifulSoup

if not len(sys.argv) == 2:
    print >> sys.stderr, "Usage: %s <URL>" % (sys.argv[0],)
    sys.exit(1)

url = sys.argv[1]

f = urllib.urlopen(url)
soup = BeautifulSoup(f)
for i in soup.findAll('img', attrs={'src': re.compile('(?i)(jpg|png)$')}):
    full_url = urlparse.urljoin(url, i['src'])
    print "image URL: ", full_url

    Dann können Sie urllib.urlretrieve zum download die Bilder jeweils gezeigt, durch full_url, aber zu diesem Zeitpunkt müssen Sie entscheiden, wie Sie diese benennen und was mit den heruntergeladenen Bilder, die nicht angegeben in deiner Frage.

    InformationsquelleAutor Mark Longair
Schreibe einen Kommentar