Holen Sie sich die endgültige URL nach dem curl umgeleitet

Ich brauche, um die endgültige URL nach einer Seite umleiten vorzugsweise mit curl oder wget.

Beispielsweise http://google.com können umleiten, um http://www.google.com.

Die Inhalte sind leicht zu bekommen(ex. curl --max-redirs 10 http://google.com -L), aber ich bin nur daran interessiert, die endgültige url (im ehemaligen Fall http://www.google.com).

Gibt es eine Möglichkeit, dies zu tun, indem Sie nur Linux-built-in-tools? (command-line-only)

InformationsquelleAutor vise | 2010-06-19

154

curl's -w option und der sub variable url_effective ist das, was Sie sind
auf der Suche nach.

Etwas wie
```
curl -Ls -o /dev/null -w %{url_effective} http://google.com
```
Mehr info
```
-L Umleitungen Folgen 
-s-Silent mode. Nicht ausgeben nichts 
-o DATEI Ausgabe in <Datei> statt stdout 
-w-FORMAT, Was die Ausgabe nach der Fertigstellung 
```
Mehr

Möchten Sie vielleicht -I (das ist ein groß -i) als auch, was den Befehl nicht herunterladen "Körper", aber es dann auch über die HEAD-Methode, die ist nicht, was die Frage enthalten und Risiko zu verändern, was der server tut. Manchmal-Server nicht reagieren gut auf den KOPF, auch wenn Sie reagieren, in Ordnung zu BEKOMMEN.
- Sie sollten in der Lage sein zu verwenden "-o /dev/null", wenn Sie nicht möchten, dass die Datei
- Das ist eine tolle option, die ich nie wusste, curl machen könnte! Es hört nie auf, mich zu überraschen :-)
- Das ist mehr eine shell-Funktion über curl
- Sie müssen -I sonst wird es tatsächlich die Datei herunterzuladen.
- funktioniert nicht. curl -Ls -o /dev/null -w %{url_effective} https://goo dot gl/un5E Ausgänge https://goo dot gl/un5E (ersetzen dot mit .)
- Sie sind ein Genie !
- Einige websites brauchen auch eine gefälschte user-agent mit curl -A ... für die Umleitung an der erwarteten Stelle.
InformationsquelleAutor Daniel Stenberg
23

Dank, das hat mir geholfen. Ich habe einige Verbesserungen vorgenommen und verpackt, die in eine helper-script "finalurl":
```
#!/bin/bash
curl $1 -s -L -I -o /dev/null -w '%{url_effective}'
```
- -o Ausgabe an /dev/null
- -Ich weiß nicht wirklich herunterladen, nur entdecken Sie die endgültige URL
- -s silent-Modus keine progressbars
Dies machte es möglich, den Befehl aufrufen aus anderen Skripts wie diesem:
```
echo `finalurl http://someurl/`
```
- Vielen Dank für diese Ideen. Ich schrieb es für terminal Nutzung in meinem .bashrc-Datei als eine Funktion, und es gibt keine Notwendigkeit für die knappe Optionen in der Datei, so habe ich das lange Namen zu self-Dokument diese: finalurl() { curl --silent --location --head --output /dev/null --write-out '%{url_effective}' -- "$@"; }
InformationsquelleAutor Jan Koriťák
6

Kann man dies mit wget in der Regel. wget --content-disposition "url" außerdem, wenn Sie hinzufügen -O /dev/null Sie nicht tatsächlich die Datei speichern.

wget -O /dev/null --content-disposition example.com
- Vielen Dank für die Erwähnung wget-Befehl entspricht!
- Ersetzen von -O /dev/null nur -O-. Besser: wget -O- --content-disposition example.com
- wget -O /dev/null --content-disposition example.com und wget -O /dev/null --content-disposition example.com produzieren viel mehr Leistung als die umgeleiteten URL. curl $1 -en -L -I-o /dev/null -w '%{url_effective}' funktioniert gut für mich.
InformationsquelleAutor Ceagle

als eine weitere option:

$ curl -i http://google.com
HTTP/1.1 301 Moved Permanently
Location: http://www.google.com/
Content-Type: text/html; charset=UTF-8
Date: Sat, 19 Jun 2010 04:15:10 GMT
Expires: Mon, 19 Jul 2010 04:15:10 GMT
Cache-Control: public, max-age=2592000
Server: gws
Content-Length: 219
X-XSS-Protection: 1; mode=block

<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.com/">here</A>.
</BODY></HTML>

Aber es geht nicht vorbei an den ersten.

InformationsquelleAutor Gavin Mogan

3

Danke. Ich landete Umsetzung Ihrer Vorschläge: curl-i + grep
```
curl -i http://google.com -L | egrep -A 10 '301 Moved Permanently|302 Found' | grep 'Location' | awk -F': ' '{print $2}' | tail -1
```
Gibt leer, wenn die website nicht umleiten, aber das ist gut genug für mich wie es funktioniert auf aufeinander folgenden Umleitungen.

Könnte buggy sein, aber auf einen Blick funktioniert es.

InformationsquelleAutor vise

Ich bin mir nicht sicher, wie es mit curl, aber libwww-perl installiert die GET-alias.

$ GET -S -d -e http://google.com
GET http://google.com --> 301 Moved Permanently
GET http://www.google.com/--> 302 Found
GET http://www.google.ca/--> 200 OK
Cache-Control: private, max-age=0
Connection: close
Date: Sat, 19 Jun 2010 04:11:01 GMT
Server: gws
Content-Type: text/html; charset=ISO-8859-1
Expires: -1
Client-Date: Sat, 19 Jun 2010 04:11:01 GMT
Client-Peer: 74.125.155.105:80
Client-Response-Num: 1
Set-Cookie: PREF=ID=a1925ca9f8af11b9:TM=1276920661:LM=1276920661:S=ULFrHqOiFDDzDVFB; expires=Mon, 18-Jun-2012 04:11:01 GMT; path=/; domain=.google.ca
Title: Google
X-XSS-Protection: 1; mode=block

InformationsquelleAutor Gavin Mogan

Dieser funktionieren würde:

 curl -I somesite.com | perl -n -e '/^Location: (.*)$/&& print "$1\n"'

InformationsquelleAutor Mike Q

0

Parameter -L (--location) und -I (--head) noch dabei unnötige HEAD-Anfrage an den location-url.

Wenn Sie sicher sind, dass Sie nicht mehr als ein redirect, es ist besser, Sie zu deaktivieren, Folgen Sie Position und verwenden Sie eine curl-variable %{redirect_url}.

Dieser code nur eine HEAD-Anforderung an die angegebene URL und nimmt redirect_url von location-header:
```
curl --head --silent --write-out "%{redirect_url}\n" --output /dev/null "https://""goo.gl/QeJeQ4"
```
Speed-test

all_videos_link.txt - 50 links von goo.gl+bit.ly, die Umleitung zu youtube

1. Mit "follow" Standort
```
time while read -r line; do
    curl -kIsL -w "%{url_effective}\n" -o /dev/null  $line
done < all_videos_link.txt
```
Ergebnisse:
```
real    1m40.832s
user    0m9.266s
sys     0m15.375s
```
2. Ohne Folgen Standort
```
time while read -r line; do
    curl -kIs -w "%{redirect_url}\n" -o /dev/null  $line
done < all_videos_link.txt
```
Ergebnisse:
```
real    0m51.037s
user    0m5.297s
sys     0m8.094s
```
InformationsquelleAutor Geograph
-3

Könntest du mit grep. nicht wget sagen, wo es die Umleitung zu? Nur grep, das aus.

InformationsquelleAutor SpliFF

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.

Speed-test

1. Mit "follow" Standort

2. Ohne Folgen Standort