Parse url in shell-Skript

Vorausgesetzt, Ihre URL übergeben als ersten parameter dem Skript:

#!/bin/bash

# extract the protocol
proto="$(echo $1 | grep ://| sed -e's,^\(.*://\).*,\1,g')"
# remove the protocol
url="$(echo ${1/$proto/})"
# extract the user (if any)
user="$(echo $url | grep @ | cut -d@ -f1)"
# extract the host
host="$(echo ${url/$user@/} | cut -d/-f1)"
# by request - try to extract the port
port="$(echo $host | sed -e 's,^.*:,:,g' -e 's,.*:\([0-9]*\).*,\1,g' -e 's,[^0-9],,g')"
# extract the path (if any)
path="$(echo $url | grep /| cut -d/-f2-)"

echo "url: $url"
echo "  proto: $proto"
echo "  user: $user"
echo "  host: $host"
echo "  port: $port"
echo "  path: $path"

Ich muss zugeben, dies ist nicht die sauberste Lösung, aber es verlässt sich nicht auf andere scripting
Sprache wie perl oder python.
(Die Bereitstellung einer Lösung mit einem von Ihnen produzieren würde sauberere Ergebnisse 😉 )

Mit Ihrem Beispiel die Ergebnisse sind:

url: user@host.net/some/random/path
  proto: sftp://
  user: user
  host: host.net
  port:
  path: some/random/path

Dies funktioniert auch für URLs ohne Protokoll/Benutzernamen oder den Pfad.
In diesem Fall werden die jeweiligen Variablen enthalten eine leere Zeichenfolge.

[BEARBEITEN]

Wenn Ihr bash-version nicht zurecht mit den Substitutionen (${1/$proto/}) dies versuchen:

#!/bin/bash

# extract the protocol
proto="$(echo $1 | grep ://| sed -e's,^\(.*://\).*,\1,g')"

# remove the protocol -- updated
url=$(echo $1 | sed -e s,$proto,,g)

# extract the user (if any)
user="$(echo $url | grep @ | cut -d@ -f1)"

# extract the host -- updated
host=$(echo $url | sed -e s,$user@,,g | cut -d/ -f1)

# by request - try to extract the port
port="$(echo $host | sed -e 's,^.*:,:,g' -e 's,.*:\([0-9]*\).*,\1,g' -e 's,[^0-9],,g')"

# extract the path (if any)
path="$(echo $url | grep /| cut -d/-f2-)"

InformationsquelleAutor Shirkrin

Diese Lösung im Prinzip funktioniert genauso wie Adam Ryczkowski ist, in diesem thread - aber hat sich verbessert regulären Ausdruck basiert auf RFC3986, (mit einigen änderungen) und behebt einige Fehler (z.B. userinfo enthalten kann ' _ ' - Zeichen). Dies kann auch verstehen, relative URIs (z.B. zum extrahieren von query oder fragment).

# !/bin/bash

# Following regex is based on https://tools.ietf.org/html/rfc3986#appendix-B with
# additional sub-expressions to split authority into userinfo, host and port
#
readonly URI_REGEX='^(([^:/?#]+):)?(//((([^:/?#]+)@)?([^:/?#]+)(:([0-9]+))?))?(/([^?#]*))(\?([^#]*))?(#(.*))?'
#                    ↑↑            ↑  ↑↑↑            ↑         ↑ ↑            ↑ ↑        ↑  ↑        ↑ ↑
#                    |2 scheme     |  ||6 userinfo   7 host    | 9 port       | 11 rpath |  13 query | 15 fragment
#                    1 scheme:     |  |5 userinfo@             8 :…           10 path    12 ?…       14 #…
#                                  |  4 authority
#                                  3 //…

parse_scheme () {
    [[ "$@" =~ $URI_REGEX ]] && echo "${BASH_REMATCH[2]}"
}

parse_authority () {
    [[ "$@" =~ $URI_REGEX ]] && echo "${BASH_REMATCH[4]}"
}

parse_user () {
    [[ "$@" =~ $URI_REGEX ]] && echo "${BASH_REMATCH[6]}"
}

parse_host () {
    [[ "$@" =~ $URI_REGEX ]] && echo "${BASH_REMATCH[7]}"
}

parse_port () {
    [[ "$@" =~ $URI_REGEX ]] && echo "${BASH_REMATCH[9]}"
}

parse_path () {
    [[ "$@" =~ $URI_REGEX ]] && echo "${BASH_REMATCH[10]}"
}

parse_rpath () {
    [[ "$@" =~ $URI_REGEX ]] && echo "${BASH_REMATCH[11]}"
}

parse_query () {
    [[ "$@" =~ $URI_REGEX ]] && echo "${BASH_REMATCH[13]}"
}

parse_fragment () {
    [[ "$@" =~ $URI_REGEX ]] && echo "${BASH_REMATCH[15]}"
}

InformationsquelleAutor Patryk Obara

Ich wusste nicht, wie oben genannten Methoden und schrieb mein eigenes. Es ist für ftp-link, ersetzen Sie einfach ftp mit http wenn Ihr es brauchen.
Erste Zeile ist eine kleine Validierung von link, link Aussehen sollte ftp://user:[email protected]/path/to/something.

if ! echo "$url" | grep -q '^[[:blank:]]*ftp://[[:alnum:]]\+:[[:alnum:]]\+@[[:alnum:]\.]\+/.*[[:blank:]]*$'; then return 1; fi

login=$(  echo "$url" | sed 's|[[:blank:]]*ftp://\([^:]\+\):\([^@]\+\)@\([^/]\+\)\(/.*\)[[:blank:]]*|\1|' )
pass=$(   echo "$url" | sed 's|[[:blank:]]*ftp://\([^:]\+\):\([^@]\+\)@\([^/]\+\)\(/.*\)[[:blank:]]*|\2|' )
host=$(   echo "$url" | sed 's|[[:blank:]]*ftp://\([^:]\+\):\([^@]\+\)@\([^/]\+\)\(/.*\)[[:blank:]]*|\3|' )
dir=$(    echo "$url" | sed 's|[[:blank:]]*ftp://\([^:]\+\):\([^@]\+\)@\([^/]\+\)\(/.*\)[[:blank:]]*|\4|' )

Meine eigentliche Ziel war zu überprüfen, ftp-Zugriff per url. Hier ist das vollständige Ergebnis:

#!/bin/bash

test_ftp_url()
    {
    local url="$1"

    if ! echo "$url" | grep -q '^[[:blank:]]*ftp://[[:alnum:]]\+:[[:alnum:]]\+@[[:alnum:]\.]\+/.*[[:blank:]]*$'; then return 1; fi

    local login=$(  echo "$url" | sed 's|[[:blank:]]*ftp://\([^:]\+\):\([^@]\+\)@\([^/]\+\)\(/.*\)[[:blank:]]*|\1|' )
    local pass=$(   echo "$url" | sed 's|[[:blank:]]*ftp://\([^:]\+\):\([^@]\+\)@\([^/]\+\)\(/.*\)[[:blank:]]*|\2|' )
    local host=$(   echo "$url" | sed 's|[[:blank:]]*ftp://\([^:]\+\):\([^@]\+\)@\([^/]\+\)\(/.*\)[[:blank:]]*|\3|' )
    local dir=$(    echo "$url" | sed 's|[[:blank:]]*ftp://\([^:]\+\):\([^@]\+\)@\([^/]\+\)\(/.*\)[[:blank:]]*|\4|' )

    exec 3>&2 2>/dev/null
    exec 6<>"/dev/tcp/$host/21" || ( exec 2>&3 3>&-; return 2 )

    echo -e "USER $login\n" >&6; read <&6
    if ! echo "$REPLY" | grep -q '^220'; then exec 2>&3  3>&- 6>&-; return 3; fi       # 220 vsFTPd 3.0.2+ (ext.1) ready...

    echo -e "PASS $pass\n" >&6; read <&6
    if ! echo "$REPLY" | grep -q '^331'; then exec 2>&3  3>&- 6>&-; return 4; fi       # 331 Please specify the password.

    echo -e "CWD $dir\n" >&6; read <&6
    if ! echo "$REPLY" | grep -q '^230'; then exec 2>&3  3>&- 6>&-; return 5; fi       # 230 Login successful.

    echo -e "QUIT\n" >&6; read <&6
    if ! echo "$REPLY" | grep -q '^250'; then exec 2>&3  3>&- 6>&-; return 6; fi       # 250 Directory successfully changed.

    exec 2>&3  3>&- 6>&-
    return 0
    }

test_ftp_url 'ftp://fz223free:[email protected]/out/nsi/nsiProtocol/daily'
echo "$?"

InformationsquelleAutor user3132194

Nur benötigt, um das gleiche zu tun, so war neugierig, ob es möglich ist, es zu tun in eine einzige Zeile, und dies ist, was ich habe:

#!/bin/bash

parse_url() {
  eval $(echo "$1" | sed -e "s#^\(\(.*\)://\)\?\(\([^:@]*\)\(:\(.*\)\)\?@\)\?\([^/?]*\)\(/\(.*\)\)\?#${PREFIX:-URL_}SCHEME='\2' ${PREFIX:-URL_}USER='\4' ${PREFIX:-URL_}PASSWORD='\6' ${PREFIX:-URL_}HOST='\7' ${PREFIX:-URL_}PATH='\9'#")
}

URL=${1:-"http://user:[email protected]/path/somewhere"}
PREFIX="URL_" parse_url "$URL"
echo "$URL_SCHEME://$URL_USER:$URL_PASSWORD@$URL_HOST/$URL_PATH"

Wie es funktioniert:

1. Es ist so verrückt sed regex erfasst alle Teile der url, wenn alle von Ihnen sind optional (außer für den host-Namen)
2. Mit diesen capture-Gruppen sed-Ausgänge env-Variablen Namen mit Ihren Werten für die relevanten Teile (wie URL_SCHEME oder URL_USER)
3. eval ausgeführt wird, die Ausgabe, dass diejenigen Variablen, die exportiert werden und in das Skript
4. Optional PREFIX weitergegeben werden konnten, um die Kontrolle der Ausgabe von env-Variablen-Namen

PS: vorsichtig sein, wenn diese für die willkürliche Eingaben, da diese code ist anfällig für Skript-Injektionen.

InformationsquelleAutor Stam

Habe ich weitere Analyse, die Erweiterung der Lösung gegeben durch @Shirkrin:

#!/bin/bash

parse_url() {
    local query1 query2 path1 path2

    # extract the protocol
    proto="$(echo $1 | grep ://| sed -e's,^\(.*://\).*,\1,g')"

    if [[ ! -z $proto ]] ; then
            # remove the protocol
            url="$(echo ${1/$proto/})"

            # extract the user (if any)
            login="$(echo $url | grep @ | cut -d@ -f1)"

            # extract the host
            host="$(echo ${url/$login@/} | cut -d/-f1)"

            # by request - try to extract the port
            port="$(echo $host | sed -e 's,^.*:,:,g' -e 's,.*:\([0-9]*\).*,\1,g' -e 's,[^0-9],,g')"

            # extract the uri (if any)
            resource="/$(echo $url | grep /| cut -d/-f2-)"
    else
            url=""
            login=""
            host=""
            port=""
            resource=$1
    fi

    # extract the path (if any)
    path1="$(echo $resource | grep ? | cut -d? -f1 )"
    path2="$(echo $resource | grep \# | cut -d# -f1 )"
    path=$path1
    if [[ -z $path ]] ; then path=$path2 ; fi
    if [[ -z $path ]] ; then path=$resource ; fi

    # extract the query (if any)
    query1="$(echo $resource | grep ? | cut -d? -f2-)"
    query2="$(echo $query1 | grep \# | cut -d\# -f1 )"
    query=$query2
    if [[ -z $query ]] ; then query=$query1 ; fi

    # extract the fragment (if any)
    fragment="$(echo $resource | grep \# | cut -d\# -f2 )"

    echo "url: $url"
    echo "   proto: $proto"
    echo "   login: $login"
    echo "    host: $host"
    echo "    port: $port"
    echo "resource: $resource"
    echo "    path: $path"
    echo "   query: $query"
    echo "fragment: $fragment"
    echo ""
}

parse_url "http://login:[email protected]:8080/one/more/dir/file.exe?a=sth&b=sth#anchor_fragment"
parse_url "https://example.com/one/more/dir/file.exe#anchor_fragment"
parse_url "http://login:[email protected]:8080/one/more/dir/file.exe#anchor_fragment"
parse_url "ftp://[email protected]:8080/one/more/dir/file.exe?a=sth&b=sth"
parse_url "/one/more/dir/file.exe"
parse_url "file.exe"
parse_url "file.exe#anchor"

InformationsquelleAutor Lisias