mehrere cURL herunterladen mit 404 Erkennung

Ich versuche zu schreiben ein shell-Skript, downloads von Dateien mit cURL und erkennt, ob eine url führt zu einem 404-Fehler. Wenn eine url wird eine 404, dann will ich speichern Sie die url oder den Dateinamen in eine text-Datei.

Das url-format ist http://server.com/somefile[00-31].txt

Ich ve wurde Herumspielen mit dem, was ich gefunden habe auf google und haben derzeit den folgenden code:

#!/bin/bash

if curl --fail -O "http://server.com/somefile[00-31].mp4"
then
  echo "$var" >> "files.txt"    
else
  echo "Saved!"
fi
InformationsquelleAutor natehome | 2014-07-26
  1. 4
    #!/bin/bash

URLFORMAT="http://server.com/somefile%02d.txt"

for num in {0..31}; do
    # build url and try to download
    url=$(printf "$URLFORMAT" $num)
    CURL=$(curl --fail -O "$url" 2>&1)

    # check if error and 404, and save in file
    if [ $? -ne 0 ]; then
        echo $CURL | grep --quiet 'The requested URL returned error: 404'
        [ $? -eq 0 ] && echo "$url" >> "files.txt"
    fi

done

    Hier ist eine version, die verwendet die Argumente für URLs:

    #!/bin/sh

for url in "$@"; do
    CURL=$(curl --fail -O "$url" 2>&1)
    # check if error and 404, and save in file
    if [ $? -ne 0 ]; then
        echo $CURL | grep --quiet 'The requested URL returned error: 404'
        [ $? -eq 0 ] && echo "$url" >> "files.txt"
    fi
done

    Diese können Sie verwenden, wie: sh download-script.sh http://server.com/files{00..21}.png http://server.com/otherfiles{00..12}.gif

    Den Bereich expansion wird Arbeit auf bash-shells.

    • danke für Ihre Antwort. aber der Hauptgrund, ich will diese script ist, so kann ich einen Befehl ausführen, wie sh downloadscript.sh http://server.com/files[00-21].png http://server.com/otherfiles[00-12].gif
    • Hinzugefügt ein zweites script welches die Argumente für die url-Verarbeitung.
    • so funktioniert es!... aber das Skript macht nicht die url, die mit 2 Ziffern (sorry, das ist wirklich ungeschickt formuliert). ich brauche es so, dass die urls sind ...pic00.png, ...bild01.png. auch für die urls, die nicht 404 s, die es nicht zeigen, wird der download-Fortschritt. sorry für alle, die noobish Fragen und Sachen. ich habe nur wirklich funktioniert mit der bash und sh heute zum ersten mal
    • es kann funktionieren nur mit den neuesten bash-version können Sie auch verwenden: sh downloadscript.sh http://server.com/files0{0..9}.png http://server.com/files{10..21}.png http://server.com/otherfiles0{0..9}.gif http://server.com/otherfiles{10..12}.gif als workaround.
    InformationsquelleAutor denisvm
  2. 1

    Können Sie die -D, --dump-header <file> option zu erfassen, werden alle Header, einschließlich Content-Type und den HTTP-Status-Code. Beachten Sie, dass die Header gekündigt werden kann mit einer DOS-Zeilenumbruch (CR LF), so möchten Sie vielleicht Streifen die CR-Zeichen.

    curl -s -D headers.txt -o out.dat "http://server.com/somefile[00-31].mp4"
httpStatus=$(head -1 headers.txt | awk '{print $2}')
contentType=$(grep "Content-Type:" headers.txt | tr -d '\r')
contentType=${contentType#*: }
if [ "$httpStatus" != "200" ]; then
    echo "FAILED - HTTP STATUS $httpStatus"
else
    echo "SAVED"
fi
    InformationsquelleAutor Stephen Quan
Schreibe einen Kommentar