Wie kann ich den Bildschirm kratzen mit Perl?

Muss ich einige Werte, die gespeichert sind, in eine Webseite, für die ich brauche zu kratzen, die website und das abrufen der Inhalte aus der Tabelle. Irgendwelche Ideen?

InformationsquelleAutor |
  1. 6

    Wenn Sie sind vertraut mit jQuery, die Sie vielleicht prüfen wollen,pQuery, die macht dies sehr einfach:

    ## print every <h2> tag in page
use pQuery;

pQuery("http://google.com/search?q=pquery")
    ->find("h2")
    ->each(sub {
        my $i = shift;
        print $i + 1, ") ", pQuery($_)->text, "\n";
    });

    Gibt es auch HTML::DOM.

    Alles, was Sie tun, aber nicht verwenden Sie reguläre Ausdrücke für diese.

    InformationsquelleAutor Paolo Bergantino
  2. 4

    Habe ich verwendet HTML-Tabelle Extrahieren in der Vergangenheit.
    Ich persönlich finde es ein wenig umständlich zu bedienen, aber vielleicht habe ich nicht verstehen das Objekt-Modell gut.
    Normalerweise verwende ich diesen Teil des Handbuchs, um die Daten zu überprüfen:

     use HTML::TableExtract;
 $te = HTML::TableExtract->new();
 $te->parse($html_string);

     # Examine all matching tables
     foreach $ts ($te->tables) {
       print "Table (", join(',', $ts->coords), "):\n";
       foreach $row ($ts->rows) {
          print join(',', @$row), "\n";
       }
     }`
    • HTML::TableExtract ist ganz zauberhaft. Ein großartiges feature ist die Möglichkeit, wählen Sie Tabellen, indem Sie angeben, den Inhalt der header-Zellen und Lage zu halten, nur die Spalten, die Sie interessiert sind in.
    InformationsquelleAutor
  3. 3

    Zwar hab ich in der Regel geschieht dies mit LWP/LWP::Simple, die aktuelle 'bevorzugt' - Modul für jede Art von Webseite Schaben in Perl ist WWW::Mechanize.

    • David: Können Sie erweitern. Ich dachte immer, WWW::Mechanize war mehr für die automatisierte Prüfung. Was bringt es einen Schnitt?
    • WWW::Mechanize ist für jede Art von Interaktion mit einer website. Es war noch nie gezielt nur bei automatisierten Tests.
    • Jedoch, Test::WWW::Mechanize ist gezielt nur auf automatisierte Tests. Es ist ein wrapper um WWW::Mechanize.
    InformationsquelleAutor
  4. 2

    Wenn Sie vertraut sind mit XPath können Sie auch HTML::TreeBuilder::XPath. Und wenn Sie nicht... nun, Sie sollte es sein ;--)

    InformationsquelleAutor
  5. 2

    Konnte man auch mit dieser einfachen perl-Modul WWW::Scraper, dies ist einfach zu verstehen und machen das Leben leicht für mich. diesem Beispiel Folgen weitere Informationen.

    http://teusje.wordpress.com/2010/05/02/web-scraping-with-perl/

    • Das Leben kann so einfach sein 🙂
    InformationsquelleAutor
  6. 2

    Ähnliche Stackoverflow-Fragen haben Sie einen Blick auf....

    Mach ich gerne mit pQuery für Dinge wie diese jedoch Web::Scraper sieht interessant aus.

    InformationsquelleAutor
  7. 1

    Meine ich nicht ziehen, bis ein Toter thread, aber wer googeln über diesen thread sollten auch Kasse WWW::Scripter - ', die Für scripting web-Seiten, die Skripte'

    glücklich remote-Daten zu aggregieren 😉

    InformationsquelleAutor
  8. 1

    Werfen Sie einen Blick auf die magischen Web::Scraper, es ist DIE Werkzeug für web-scraping.

    InformationsquelleAutor
  9. 0

    Benutze ich LWP::UserAgent für die meisten von meinem Bildschirm kratzen muss. Sie können auch ein Paar, die mit HTTP::Cookies wenn Sie Cookies benötigen, zu unterstützen.

    Hier ist ein einfaches Beispiel, wie man Quelle.

    use LWP;
use HTTP::Cookies;
my $cookie_jar = HTTP::Cookies->new;
my $browser = LWP::UserAgent->new;
$browser->cookie_jar($cookie_jar);

$resp = $browser->get("https://www.stackoverflow.com");
if($resp->is_success) {
   # Play with your source here
   $source = $resp->content;
   $source =~ s/^.*<table>/<table>/i; # this is just an example 
   print $source;                     # not a solution to your problem.
}
    InformationsquelleAutor
  10. 0

    Überprüfen Sie heraus dieses kleine Beispiel von web scraping mit perl:
    link-text

    InformationsquelleAutor
Schreibe einen Kommentar