Parallele downloads mit Curl-Befehlszeile-Dienstprogramm

Will ich laden Sie einige Seiten aus einer website und ich habe es erfolgreich mit curl aber ich Frage mich, ob irgendwie curl downloads mehrere Seiten auf einmal, genau wie die meisten download-Managern zu tun, es beschleunigt die Dinge ein wenig. Ist es möglich, es zu tun in curl Befehlszeilen-Dienstprogramm?

Den aktuellen Befehl, den ich verwende, ist

curl 'http://www...../?page=[1-10]' 2>&1 > 1.html

Hier bin ich Download-Seiten von 1 bis 10 und speichert Sie in einer Datei namens 1.html.

Außerdem ist es möglich, für curl zu schreiben-Ausgang von jeder URL, um separate Datei sagen URL.htmlwo URL ist die eigentliche URL der Seite unter " Prozess.

InformationsquelleAutor der Frage Ravi Gupta | 2011-12-26

  1. 22

    Gut, curl ist nur ein einfaches UNIX-Prozess. Sie können so viele dieser curl Prozesse parallel ausgeführt und schickt seine Ausgänge auf verschiedene Dateien.

    curl verwenden können, die mit dem Namen-Teil der URL zu generieren lokale Datei. Verwenden Sie einfach die -O option (man curl für details).

    Könnten Sie etwas wie das folgende

    urls="http://example.com/?page1.html http://example.com?page2.html" # add more URLs here

for url in $urls; do
   # run the curl job in the background so we can start another job
   # and disable the progress bar (-s)
   echo "fetching $url"
   curl $url -O -s &
done
wait #wait for all background jobs to terminate

    InformationsquelleAutor der Antwort nimrodm

  2. 34

    Meine Antwort ist ein bisschen spät, aber ich glaube, dass alle vorhandenen Antworten fallen nur ein wenig kurz. Die Art, wie ich Dinge wie das mit xargsdie fähig ist, eine bestimmte Anzahl von Befehlen in Teilprozesse.

    Die one-liner, die ich verwenden würde, ist einfach: 

    $ seq 1 10 | xargs -n1 -P2 bash -c 'i=$0; url="http://example.com/?page${i}.html"; curl -O -s $url'

    Dies garantiert eine Erklärung. Die Verwendung von -n 1 weist xargs zum verarbeiten einer einzelnen Eingangs-argument zu einem Zeitpunkt. In diesem Beispiel werden die zahlen 1 ... 10 sind jeweils separat verarbeitet. Und -P 2 sagt xargs zu halten 2 Teilprozesse die ganze Zeit laufen, jeweils mit einem einzigen argument, bis alle input-Argumente verarbeitet wurden.

    Können Sie denken, dies als MapReduce in der shell. Oder vielleicht einfach nur die Map-phase. Unabhängig davon, ist es ein effektiver Weg, um eine Menge Arbeit getan, während Sie sicherstellen, dass Sie don ' T fork-Bombe Ihre Maschine. Es ist möglich, etwas ähnliches zu tun, in einer for-Schleife in einer shell, aber am Ende tut process management, die beginnt, scheint ziemlich sinnlos, sobald Sie feststellen, wie wahnsinnig toll diese Verwendung von xargs ist.

    Update: ich vermute, dass mein Beispiel mit xargs verbessert werden könnte (zumindest auf Mac OS X und BSD mit der -J flag). Mit GNU Parallel, der Befehl ist ein bisschen weniger schwerfällig als gut:

    parallel --jobs 2 curl -O -s http://example.com/?page{}.html ::: {1..10}

    InformationsquelleAutor der Antwort ndronen

  3. 4

    Curl kann auch beschleunigen den download einer Datei durch teilen es in die Teile:

    $ man curl |grep -A2 '\--range'
       -r/--range <range>
              (HTTP/FTP/SFTP/FILE)  Retrieve a byte range (i.e a partial docu-
              ment) from a HTTP/1.1, FTP or  SFTP  server  or  a  local  FILE.

    Hier ist ein Skript, dass automatisch gestartet, curl mit der gewünschten Anzahl gleichzeitiger Prozesse: https://github.com/axelabs/splitcurl

    InformationsquelleAutor der Antwort AXE-Labs

  4. 2

    Für den Start von parallelen Befehlen, warum man nicht die ehrwürdigen make Befehlszeilen-Dienstprogramm.. Es unterstützt parallell Ausführung und Verfolgung von Abhängigkeiten und so weiter.

    Wie? In das Verzeichnis, in dem Sie das herunterladen von Dateien, erstellen Sie eine neue Datei namens Makefile mit folgendem Inhalt:

    # which page numbers to fetch
numbers := $(shell seq 1 10)

# default target which depends on files 1.html .. 10.html
# (patsubst replaces % with %.html for each number)
all: $(patsubst %,%.html,$(numbers))

# the rule which tells how to generate a %.html dependency
# $@ is the target filename e.g. 1.html
%.html:
        curl -C - 'http://www...../?page='$(patsubst %.html,%,$@) -o $@.tmp
        mv $@.tmp $@

    HINWEIS Die letzten beiden Zeilen beginnen mit einem TABULATOR-Zeichen (anstelle von 8 Leerzeichen) oder stellen Sie die Annahme der Datei.

    Nun müssen Sie nur ausführen:

    make -k -j 5

    Den curl-Befehl, den ich verwendet werden, speichern Sie die Ausgabe in 1.html.tmp und nur, wenn der curl-Befehl ist erfolgreich, dann wird es umbenannt in 1.html (durch die mv Befehl auf der nächsten Zeile). Wenn also einige download fehlschlagen sollte, können Sie einfach erneut ausführen die gleichen make Befehl, und es wird fortsetzen/wiederholen herunterladen der Dateien, Fehler beim herunterladen der in der ersten Zeit. Sobald alle Dateien erfolgreich heruntergeladen wurden, machen wird, berichten, dass es nichts mehr zu tun, so schadet es nicht, läuft er ein weiteres mal, dass "sicher".

    (Die -k Schalter sagt, machen Sie zu halten, herunterladen der restlichen Dateien, auch wenn ein download fehlschlägt.)

    InformationsquelleAutor der Antwort Jonas Berlin

  5. 2

    Führen eine begrenzte Anzahl von Verfahren ist einfach, wenn Sie Ihr system mit Befehlen wie pidof oder pgrep die, gegeben ein Prozess, name, return die pids (die Anzahl der pids sagen, wie viele ausgeführt werden).

    Etwas wie dieses:

    #!/bin/sh
max=4
running_curl() {
    set -- $(pidof curl)
    echo $#
}
while [ $# -gt 0 ]; do
    while [ $(running_curl) -ge $max ] ; do
        sleep 1
    done
    curl "$1" --create-dirs -o "${1##*://}" &
    shift
done

    aufrufen wie diesem:

    script.sh $(for i in `seq 1 10`; do printf "http://example/%s.html " "$i"; done)

    Curl-Zeile des script ist ungetestet.

    InformationsquelleAutor der Antwort Alex

  6. 0

    Ich bin nicht sicher, über curl, aber Sie können tun, dass mit wget.

    wget \
     --recursive \
     --no-clobber \
     --page-requisites \
     --html-extension \
     --convert-links \
     --restrict-file-names=windows \
     --domains website.org \
     --no-parent \
         www.website.org/tutorials/html/

    InformationsquelleAutor der Antwort zengr

  7. 0

    Ich kam mit einer Lösung auf Basis fmt und xargs. Die Idee ist, geben Sie mehrere URLs in Klammern http://example.com/page{1,2,3}.html und führen Sie diese parallel mit xargs. Folgendes möchte starten Sie den Download in 3 Prozess:

    seq 1 50 | fmt -w40 | tr ' ' ',' \
| awk -v url="http://example.com/" '{print url "page{" $1 "}.html"}' \
| xargs -P3 -n1 curl -o

    also 4 herunterladbare Linien von URLs generiert und an xargs

    curl -o http://example.com/page{1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16}.html
curl -o http://example.com/page{17,18,19,20,21,22,23,24,25,26,27,28,29}.html
curl -o http://example.com/page{30,31,32,33,34,35,36,37,38,39,40,41,42}.html
curl -o http://example.com/page{43,44,45,46,47,48,49,50}.html

    InformationsquelleAutor der Antwort Slava Ignatyev

Schreibe einen Kommentar