Wie bekomme ich die ultimative URL ohne das abrufen der Seiten mit Perl und LWP?

Ich bin dabei einige web-scraping mit Perl-LWP. Ich muss eine Menge verarbeiten von URLs, von denen einige möglicherweise umleiten (1 oder mehr mal).

Wie bekomme ich die ultimative URL mit alle Umleitungen gelöst, mit Hilfe von HEAD-Methode?

InformationsquelleAutor planetp | 2010-03-18
  1. 12

    Wenn Sie die voll funktionsfähige version von LWP::UserAgent, dann ist die Antwort, die zurückgegeben wird, wird eine Instanz von HTTP::Response die wiederum hat als Attribut eine HTTP::Request. Beachten Sie, dass dies NICHT unbedingt die gleichen HTTP::Request dass Sie erstellt haben, die original-URL in Ihre URL-Liste, wie beschrieben, in der HTTP::Response Dokumentation für die Methode zum abrufen der Anfrage-Instanz innerhalb des response-Beispiel:

    $r->request( $request )

    Das wird verwendet, um/setzen der request-Attribut. Das request-Attribut einen Verweis auf die Anfrage, die Antwort. Es muss nicht die gleiche Anforderung an die $ua->request () - Methode, weil es vielleicht leitet und Autorisierung Wiederholungen dazwischen.

    Sobald Sie das Anfrage-Objekt verwenden, können Sie die uri-Methode, um den URI. Wenn redirects verwendet wurden, die URI ist das Ergebnis der folgenden Kette von Weiterleitungen.

    Hier ist ein Perl-script, getestet und geprüft, das gibt Ihnen das Skelett von dem, was Sie brauchen:

    #!/usr/bin/perl

use strict;
use warnings;

use LWP::UserAgent;

my $ua;  # Instance of LWP::UserAgent
my $req; # Instance of (original) request
my $res; # Instance of HTTP::Response returned via request method

$ua = LWP::UserAgent->new;
$ua->agent("$0/0.1 " . $ua->agent);

$req = HTTP::Request->new(HEAD => 'http://www.ecu.edu/wllc');
$req->header('Accept' => 'text/html');

$res = $ua->request($req);

if ($res->is_success) {
    # Using double method invocation, prob. want to do testing of
    # whether res is defined.
    # This is inline version of
    # my $finalrequest = $res->request(); 
    # print "Final URL = " . $finalrequest->url() . "\n";
    print "Final URI = " . $res->request()->uri() . "\n";
} else {
    print "Error: " . $res->status_line . "\n";
}
    InformationsquelleAutor Tony Miller
  2. 8

    Wie gesagt in perldoc LWP::UserAgent, ist der Standard zu befolgen, Umleitungen für GET und HEAD Anforderungen:

    $ua = LWP::UserAgent->neue( %Optionen ) 

... 
SCHLÜSSEL STANDARD 
----------- -------------------- 
max_redirect 7 
... 
requests_redirectable ['GET', 'HEAD']

    Hier ist ein Beispiel:

    #!/usr/bin/perl

use strict; use warnings;
use LWP::UserAgent;

my $ua = LWP::UserAgent->new();
$ua->show_progress(1);

my $response = $ua->head('http://unur.com/');

if ( $response->is_success ) {
    print $response->request->uri->as_string, "\n";
}

    Ausgabe:

     * * * KOPF http://unur.com/==> 301 Moved Permanently (1s) 
* * * KOPF http://www.unur.com/==> 200 OK 
http://www.unur.com/
    • Absolut richtig, aber ich denke, der OP wollte wissen, was die URLs eigentlich waren einmal alle Umleitungen gefolgt.
    • Vielen Dank für das heads-up. Ich habe nicht bemerkt es sofort und postete ein Beispiel-Skript anscheinend nach war Ihre Antwort akzeptiert.
    • Oooh, ich wollte nicht sehen, das uri->as_string-Methode, das zeigt die gesamte Sequenz. Sehr schön.
    • Die Sequenz stammt aus $ua->show_progress(1);
    InformationsquelleAutor Sinan Ünür
Schreibe einen Kommentar