Wie überprüfen Sie den status des URLs aus Textdatei mit Hilfe der bash-shell-Skript

Habe ich zum überprüfen des status 200 http-URLs und finden Sie heraus, welche links nicht mehr funktionieren. Die links sind in einer einfachen text-Datei (z.B. URL.txt in meinem ~ Ordner). Ich bin mit Ubuntu 14.04 und ich bin ein Linux-Neuling. Aber ich verstehe die bash-shell ist sehr mächtig und könnte mir helfen, was ich erreichen will.

Meine genaue Anforderung wäre den text zu Lesen-Datei, die die Liste der URLs und überprüfen automatisch, ob die links funktionieren und schreiben die Antwort auf eine neue Datei mit den URLs und Ihre entsprechenden status (in Betrieb/defekt).

Wie wollen Sie überprüfen, ob die url funktioniert? Durch pingen ? Können Sie in die details der Methode, die Sie verwenden möchten ? Ansonsten, die beim Lesen der Datei Teil ist sehr einfach in der bash
Ich war auf der Suche nach ungültigen urls - eine, die zurückgegeben 404-Fehler. Dachte, es mit curl.

InformationsquelleAutor Jayakrishnan GK | 2014-08-05

  1. 14

    Ich habe eine Datei "checkurls.sh" und legte es in meine home-Verzeichnis, wo die urls.txt die Datei befindet sich auch. Ich gab die execute-Berechtigungen auf die Datei mit

    $chmod +x checkurls.sh

    Den Inhalt checkurls.sh wird unten gegeben:

    #!/bin/bash
while read url
do
    urlstatus=$(curl -o /dev/null --silent --head --write-out '%{http_code}' "$url" )
    echo "$url  $urlstatus" >> urlstatus.txt
done < $1

    Schließlich habe ich ausgeführt, es von der Kommandozeile aus mit dem folgenden -

    $./checkurls.sh urls.txt

    Voila! Es funktioniert.

    Genial! Wenn Sie die Prüfung für Weiterleitungen können Sie auch drucken Sie die Ziel-URL und die Büste die meisten 301-Probleme durch die Verwendung curl -H 'Cache-Control: no-cache' -o /dev/null --silent --head --write-out '%{http_code} %{redirect_url}'
    Schöne Lösung und schöner tip mit einschließlich umleiten. Ich habe einige Parallelität in angepasste Lösung. Es war zu lang und passt nicht in einen Kommentar.
    Poste bitte deine eigene Antwort mit der Parallelität.
    es ist schon da - siehe stackoverflow.com/a/40125113/793937 .

    InformationsquelleAutor Jayakrishnan GK

  2. 4
    #!/bin/bash
while read -ru 4 LINE; do
    read -r REP < <(exec curl -IsS "$LINE" 2>&1)
    echo "$LINE: $REP"
done 4< "$1"

    Verwendung:

    bash script.sh urls-list.txt

    Beispiel:

    http://not-exist.com/abc.html
https://kernel.org/nothing.html
http://kernel.org/index.html
https://kernel.org/index.html

    Ausgabe:

    http://not-exist.com/abc.html: curl: (6) Couldn't resolve host 'not-exist.com'
https://kernel.org/nothing.html: HTTP/1.1 404 Not Found
http://kernel.org/index.html: HTTP/1.1 301 Moved Permanently
https://kernel.org/index.html: HTTP/1.1 200 OK

    Für alles, Lesen Sie die Bash-Manual. Sehen man curl, help, man bash als gut.

    InformationsquelleAutor konsolebox

  3. 1

    Was über das hinzufügen einige Parallelität zu den akzeptierten Lösung. Ermöglicht das ändern des Skripts chkurl.sh wenig einfacher zu Lesen und zu handhaben, nur eine Anfrage gleichzeitig:

    #!/bin/bash
URL=${1?Pass URL as parameter!}
curl -o /dev/null --silent --head --write-out "$URL %{http_code} %{redirect_url}\n" "$URL"

    Und jetzt wird Sie überprüfen Sie Ihre Liste mit:

    cat URL.txt | xargs -P 4 -L1 ./chkurl.sh

    Könnte dies den job zu beenden bis zu 4-mal schneller.

    InformationsquelleAutor brablc

  4. 0

    wenn deine input-Datei eine url pro Zeile enthält, können Sie ein Skript verwenden, Lesen Sie jede Zeile, dann versuchen Sie, ping für die url, wenn ping Erfolg dann die url gültig ist

    #!/bin/bash
INPUT="Urls.txt"
OUTPUT="result.txt"
while read line ;
do
  if ping -c 1 $line &> /dev/null
  then
      echo "$line valid" >> $OUTPUT
  else
      echo "$line not valid " >> $OUTPUT
  fi
done < $INPUT
exit

    ping-Optionen : 

    -c count
      Stop after sending count ECHO_REQUEST packets. With deadline option, ping waits for count ECHO_REPLY packets, until the timeout expires.

    können Sie diese option verwenden, als auch um die Wartezeit zu begrenzen Zeit

     -W timeout
      Time to wait for a response, in seconds. The option affects only timeout in absense
      of any responses, otherwise ping waits for two RTTs.
    Sie können versuchen, ping, aber einige firewalls blockieren möglicherweise ICMP-Pakete.

    InformationsquelleAutor bachN

  5. 0

    Hiermit meine volle Skript, das überprüft aufgeführten URLs in einer Datei als argument übergeben, z.B. 'checkurls.sh listofurls.txt'.

    Was es tut:

    • check url mit curl und Rückgabe HTTP Statuscode
    • senden Sie E-Mail-Benachrichtigungen, wenn die url gibt anderen code als 200
    • erstellen Sie einen temporären lock-Datei für fehlerhafte urls (file naming verbessert werden könnte)
    • senden Sie E-Mail-Benachrichtigung, wenn die url becoms wieder verfügbar
    • entfernen lock-Datei einmal-url verfügbar zu vermeiden, weitere Meldungen
    • log-Ereignissen in eine Datei und Griff Zunehmender Größe der Protokolldatei (AKA-log
      rotation, heben Sie die Auskommentierung echo, wenn der code 200 Anmeldung erforderlich)

    Code:

    #!/bin/sh

EMAIL=" [email protected]"
DATENOW=`date +%Y%m%d-%H%M%S`
LOG_FILE="checkurls.log"
c=0

while read url
do
  ((c++))
  LOCK_FILE="checkurls$c.lock"
  urlstatus=$(/usr/bin/curl -H 'Cache-Control: no-cache' -o /dev/null --silent --head --write-out '%{http_code}' "$url" )

  if [ "$urlstatus" = "200" ]
   then
    #echo "$DATENOW OK $urlstatus connection->$url" >> $LOG_FILE
    [ -e $LOCK_FILE ] && /bin/rm -f -- $LOCK_FILE > /dev/null && /bin/mail -s "NOTIFICATION URL OK: $url" $EMAIL <<< 'The URL is back online'
else
    echo "$DATENOW FAIL $urlstatus connection->$url" >> $LOG_FILE
    if [ -e $LOCK_FILE ]
     then
        #no action - awaiting URL to be fixed
        :
    else
        /bin/mail -s "NOTIFICATION URL DOWN: $url" $EMAIL <<< 'Failed to reach or URL problem'
        /bin/touch $LOCK_FILE
    fi
  fi
done < $1

# REMOVE LOG FILE IF LARGER THAN 100MB
# alow up to 2000 lines average
maxsize=120000
size=$(/usr/bin/du -k "$LOG_FILE" | /bin/cut -f 1)
if [ $size -ge $maxsize ]; then
     /bin/rm -f -- $LOG_FILE > /dev/null
     echo "$DATENOW LOG file [$LOG_FILE] has been recreated" > $LOG_FILE
else
     #do nothing
     :
fi

    Bitte beachten Sie, dass das ändern der Reihenfolge der aufgelisteten urls in text-Datei Einfluss auf vorhandene lock-Dateien (entfernen Sie alle .lock-Dateien, um Verwirrung zu vermeiden). Es würde verbessert werden, durch die Verwendung der url als Dateinamen, sondern bestimmte Zeichen wie : @ /? & behandelt werden müssten für das Betriebssystem.

    InformationsquelleAutor webcoder.eu

Schreibe einen Kommentar