Wie dekodiert man eine URL-codierte Zeichenfolge in der Shell?

Hier ist eine einfache ein-line-Lösung.

$ urldecode() { : "${*//+/}"; echo -e "${_//%/\\x}"; }

Es vielleicht so Aussehen mag perl : -) aber es ist nur der Reine bash. Keine awks, keine seds ... keine Gemeinkosten. Über die : builtin spezielle Parameter, Muster substitution und der echo-builtin ist option-e übersetzt hex-codes in Zeichen. Siehe bash - manpage für weitere details. Mit dieser Funktion können Sie als separaten Befehl

$ urldecode https%3A%2F%2Fgoogle.com%2Fsearch%3Fq%3Durldecode%2Bbash
https://google.com/search?q=urldecode+bash

oder in Variablenzuweisungen, zum Beispiel so:

$ x="http%3A%2F%2Fstackoverflow.com%2Fsearch%3Fq%3Durldecode%2Bbash"
$ y=$(urldecode "$x")
$ echo "$y"
http://stackoverflow.com/search?q=urldecode+bash

InformationsquelleAutor der Antwort guest

Dies ist, was scheint zu funktionieren für mich.

#!/bin/bash
urldecode(){
  echo -e "$(sed 's/+//g;s/%\(..\)/\\x\1/g;')"
}

for f in /opt/logs/*.log; do
    name=${f##/*/}
    cat $f | urldecode > /opt/logs/processed/$HOSTNAME.$name
done

Ersetzen '+'s mit Leerzeichen und % - Zeichen mit '\x' entweicht, und lassen echo interpretieren die \x entkommt, indem man das '-e' - option nicht funktioniert. Aus irgendeinem Grund, den cat-Befehl gedruckt wurde das % - Zeichen als eigene codierte form %25. So sed war einfach Auswechseln %25 mit \x25. Wenn Sie die option-e verwendet wurde, es war einfach bewerten \x25%, und der Ausgang war der gleiche wie das original.

Trace:

Original: Mozilla%2F5.0%20%28Macintosh%3B - %20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en

sed: Mozilla\x252F5.0\x2520\x2528Macintosh\x253B\x2520U\x253B\x2520Intel\x2520Mac\x2520OS\x2520X\x252010.6\x253B\x2520en

echo -e: Mozilla%2F5.0%20%28Macintosh%3B - %20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en

Update: Grundsätzlich ignorieren, die 2 Zeichen nach dem % in der sed.

sed: Mozilla\x2F5.0\x20 - \x28Macintosh\x3B\x20U\x3B\x20Intel\x20Mac\x20OS\x20X\x2010.6\x3B\x20en

echo -e: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; de

Nicht sicher, welche Komplikationen dies führen würde, nach umfangreichen Tests, arbeitet aber für jetzt.

InformationsquelleAutor der Antwort user785717

Bash-Skript, es zu tun im einheitlichen Bash (original source):

LANG=C

urlencode() {
    local l=${#1}
    for (( i = 0 ; i < l ; i++ )); do
        local c=${1:i:1}
        case "$c" in
            [a-zA-Z0-9.~_-]) printf "$c" ;;
            ' ') printf + ;;
            *) printf '%%%.2X' "'$c"
        esac
    done
}

urldecode() {
    local data=${1//+/ }
    printf '%b' "${data//%/\x}"
}

Wenn Sie möchten, urldecode Inhalt der Datei, legen Sie einfach den Inhalt der Datei als argument.

Hier ist ein test, der läuft halt, wenn der decodiert codierte Datei Inhalt unterscheidet sich (wenn es läuft für ein paar Sekunden, das script funktioniert wahrscheinlich nicht richtig):

while true
  do cat /dev/urandom | tr -d '\0' | head -c1000 > /tmp/tmp;
     A="$(cat /tmp/tmp; printf x)"
     A=${A%x}
     A=$(urlencode "$A")
     urldecode "$A" > /tmp/tmp2
     cmp /tmp/tmp /tmp/tmp2
     if [ $? != 0 ]
       then break
     fi
done

InformationsquelleAutor der Antwort Janus Troelsen

Mit der BASH zu Lesen, der Prozent-codierte URL von standard-und entschlüsseln:

while read; do echo -e ${REPLY//%/\\x}; done

Drücken Sie STRG-Dum zu signalisieren das Ende der Datei(EOF) und beenden Sie ordnungsgemäß.

Können Sie entschlüsseln des Inhalts einer Datei, indem Sie die Datei standard:

while read; do echo -e ${REPLY//%/\\x}; done < file

Können Sie die decode-input aus einer pipe entweder, zum Beispiel:

echo 'a%21b' | while read; do echo -e ${REPLY//%/\\x}; done

• Das Lesen eingebauten Befehl liest standard-bis er sieht, ein Zeilenvorschub-Zeichen. Es setzt eine variable namens REPLY gleich die Textzeile, in der es nur Lesen.
• ${REPLY//%/\\x} ersetzt alle Instanzen von '%' mit '\x'.
• echo -e interpretiert \xNN als das ASCII-Zeichen mit dem hexadezimalen Wert NN.
• während wiederholt diese Schleife, bis der read-Befehl fehlschlägt, zB. EOF erreicht wurde.

Diese nicht ändern '+'''. Das können Hinzugefügt werden, wie in Gast Antwort. Dadurch wird nur die BASH und nicht anfängt, jeder andere Prozess, ähnlich der Gast seine Antwort.

InformationsquelleAutor der Antwort brendan

wenn Sie ein python Entwickler, das vielleicht preferer

echo "%21%20" | python -c "import sys, urllib as ul; print ul.unquote(sys.stdin.read());"

das urllib ist Profi bei der Handhabung

InformationsquelleAutor der Antwort Jay

Hier ist eine Lösung, erfolgt in reiner bash, wo Eingang und Ausgang sind bash-Variablen. Es decodieren und '+' als Raum und Griff die '%20' Leerzeichen, wie auch die anderen %-codierte Zeichen.

#!/bin/bash
#here is text that contains both '+' for spaces and a %20
text="hello+space+1%202"
decoded=$(echo -e `echo $text | sed 's/+//g;s/%/\\\\x/g;'`)
echo decoded=$decoded

InformationsquelleAutor der Antwort nevertooloud

Erweiterung
https://stackoverflow.com/a/37840948/8142470


arbeiten mit HTML-entities

$ htmldecode() { : "${*//+/}"; echo -e "${_//&#x/\x}" | tr -d
';'; }
$ htmldecode
"http://google.com/search&?q=urldecode+bash" http://google.com/search&?q=urldecode+bash

(argument muss angegeben werden)

InformationsquelleAutor der Antwort Calvin Kim

Wollte nur zu teilen, diese andere Lösung, Reine bash:

encoded_string="Mozilla%2F5.0%20%28Macintosh%3B%20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en"
printf -v encoded_string "%b" "${encoded_string//\%/\x}"
echo $encoded_string

InformationsquelleAutor der Antwort jamp

$ uenc='H%C3%B6he %C3%BCber%20dem%20Meeresspiegel'
$ utf8=$(printf "${uenc//%/\\x}")
$ echo $utf8
Höhe über dem Meeresspiegel
$

InformationsquelleAutor der Antwort guest