Streame große Binärdateien mit urllib2 in Datei

Ich den folgenden code verwenden, zum streamen von großen Dateien aus dem Internet in eine lokale Datei:

fp = open(file, 'wb')
req = urllib2.urlopen(url)
for line in req:
    fp.write(line)
fp.close()

Funktioniert es, aber es lädt Recht langsam. Gibt es einen schnelleren Weg? (Die Dateien sind sehr groß, so dass ich nicht wollen, um Sie in den Speicher.)

InformationsquelleAutor der Frage hoju | 2009-10-04

  1. 96

    Kein Grund zu arbeiten zeilenweise (kleine Stücke UND erfordert Python zu finden, die Linie endet für Sie!-), nur Stück es bis in größere Stücke, z.B.:

    # from urllib2 import urlopen # Python 2
from urllib.request import urlopen # Python 3

response = urlopen(url)
CHUNK = 16 * 1024
with open(file, 'wb') as f:
    while True:
        chunk = response.read(CHUNK)
        if not chunk:
            break
        f.write(chunk)

    Experimentieren Sie ein wenig mit verschiedenen Blockgrößen zu finden, die "sweet-spot" für Ihre Anforderungen.

    InformationsquelleAutor der Antwort Alex Martelli

  2. 59

    Können Sie auch shutil:

    import shutil
try:
    from urllib.request import urlopen # Python 3
except ImportError:
    from urllib2 import urlopen # Python 2

def get_large_file(url, file, length=16*1024):
    req = urlopen(url)
    with open(file, 'wb') as fp:
        shutil.copyfileobj(req, fp, length)

    InformationsquelleAutor der Antwort Tiago

  3. 6

    Ich verwendet, um zu verwenden mechanize Modul und die Browser.retrieve () - Methode. In der Vergangenheit dauerte es 100% CPU und heruntergeladene Dinge sehr langsam, aber einige der neuesten Version wurde dieser Fehler behoben und funktioniert sehr schnell.

    Beispiel:

    import mechanize
browser = mechanize.Browser()
browser.retrieve('http://www.kernel.org/pub/linux/kernel/v2.6/testing/linux-2.6.32-rc1.tar.bz2', 'Downloads/my-new-kernel.tar.bz2')

    Mechanisieren basiert auf urllib2, so urllib2 können auch ähnliche Methode... aber ich kann es nicht finden jetzt.

    InformationsquelleAutor der Antwort liori

  4. 4

    Können Sie das urllib.abrufen (), um die download-Dateien:

    Beispiel:

    try:
    from urllib import urlretrieve # Python 2

except ImportError:
    from urllib.request import urlretrieve # Python 3

url = "http://www.examplesite.com/myfile"
urlretrieve(url,"./local_file")

    InformationsquelleAutor der Antwort Aravindh

Schreibe einen Kommentar