Der Seiteninhalt wird mit Javascript geladen und Jsoup sieht ihn nicht

Einen block auf der Seite ist mit Inhalt gefüllt, indem javascript und nach dem laden der Seite mit Jsoup gibt es keine Informationen. Gibt es einen Weg, um auch javascript generated content beim Parsen Seite mit Jsoup?

Besondere UPD für Marcin:

Kann nicht einfügen Seite code hier ein, da es zu lang ist: http://pastebin.com/qw4Rfqgw

Hier das element, das den Inhalt brauche ich: <div id='tags_list'></div>

Ich brauche, um diese Informationen in Java. Preferebaly mit Jsoup. Element-Feld mit Hilfe von javascript:

<div id="tags_list">
    <a href="/tagsc0t20099.html" style="font-size:14;">разведчик</a>
    <a href="/tagsc0t1879.html" style="font-size:14;">Sr</a>
    <a href="/tagsc0t3140.html" style="font-size:14;">стратегический</a>
</div>

Java-code:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class Test
{
    public static void main( String[] args )
    {
        try
        {
            Document Doc = Jsoup.connect( "http://www.bestreferat.ru/referat-32558.html" ).get();
            Elements Tags = Doc.select( "#tags_list a" );

            for ( Element Tag : Tags )
            {
                System.out.println( Tag.text() );
            }
        }
        catch ( IOException e )
        {
            e.printStackTrace();
        }
    }
}

InformationsquelleAutor der Frage Eugene | 2011-09-20

  1. 17

    JSoup ist eine HTML parser, nicht irgendeine Art von eingebetteten browser-engine. Dies bedeutet, dass es völlig in Unkenntnis der Inhalte Hinzugefügt werden, ist das DOM von Javascript nach dem ersten laden der Seite.

    Zugang zu dieser Art von Inhalt müssen Sie ein eingebettetes browser-Komponente, gibt es eine Reihe von Diskussionen über was, dass die Art der Komponente, wie zB Gibt es eine Möglichkeit zum einbetten von einem browser in Java?

    InformationsquelleAutor der Antwort fvu

  2. 13

    Gelöst, in meinem Fall mit com.codeborne.phantomjsdriver
    HINWEIS: es ist groovy-code.

    pom.xml

            <dependency>
          <groupId>com.codeborne</groupId>
          <artifactId>phantomjsdriver</artifactId>
          <version> <here goes last version> </version>
        </dependency>

    PhantomJsUtils.groovy

    import org.jsoup.Jsoup
import org.jsoup.nodes.Document
import org.openqa.selenium.WebDriver
import org.openqa.selenium.phantomjs.PhantomJSDriver

class PhantomJsUtils {
    private static String filePath = 'data/temp/';

    public static Document renderPage(String filePath) {
        System.setProperty("phantomjs.binary.path", 'libs/phantomjs') //path to bin file. NOTE: platform dependent
        WebDriver ghostDriver = new PhantomJSDriver();
        try {
            ghostDriver.get(filePath);
            return Jsoup.parse(ghostDriver.getPageSource());
        } finally {
            ghostDriver.quit();
        }
    }

    public static Document renderPage(Document doc) {
        String tmpFileName = "$filePath${Calendar.getInstance().timeInMillis}.html";
        FileUtils.writeToFile(tmpFileName, doc.toString());
        return renderPage(tmpFileName);
    }
}

    ClassInProject.groovy

    Document doc = PhantomJsUtils.renderPage(Jsoup.parse(yourSource))

    InformationsquelleAutor der Antwort iluhin

  3. 4

    Müssen Sie verstehen, was passiert ist :

    • Beim Abfragen einer Seite von einer website, ob mit Jsoup oder Ihr browser, bekommt was zurück gesendet, Sie ist etwas HTML-Code. Jsoup ist in der Lage zu analysieren.
    • Jedoch die meisten Webseiten, die Javascript enthalten, das HTML, oder damit verknüpft, dass HTML, die füllen die Seite mit Inhalt. Ihr browser ist in der Lage zum ausführen von Javascript, und damit füllen Sie die Seite. Jsoup ist nicht.

    Den Weg, dies zu verstehen, ist die folgende : Parsen von HTML-code ist einfach. Ausführen von Javascript-code und Aktualisierung der entsprechende HTML-code ist viel komplexer, und es ist die Arbeit von einem browser.

    Hier sind einige Lösungen für diese Art von Problemen:

    1. Wenn Sie finden, was werden die Ajax-Aufrufe, die Javascript-code macht, ist, dass das laden von Inhalten, die Sie vielleicht in der Lage sein zu verwenden, das URL für diese Anrufe mit Jsoup. Um dies zu tun, verwenden Sie die Entwickler-Tools aus Ihrem browser. Aber das ist nicht garantiert, um zu arbeiten:

      • es könnte sein, dass die url ist dynamisch und abhängig davon, was auf der Seite, damals
      • wenn der Inhalt ist nicht öffentlich, cookies einbezogen werden müssen, und einfach das Abfragen der Ressourcen-URL wird nicht genug sein,

    2. In diesen Fällen müssen Sie "simulieren" die Arbeit, die von einem browser. Glücklicherweise sind solche tools vorhanden sind. Die, die ich kenne und empfehlen, ist PhantomJS. Es funktioniert mit Javascript, und Sie müssen, um es zu starten von Java durch einen neuen Prozess zu starten. Wenn Sie halten möchten, Java, dieser Beitrag listet einige Java-alternativen.

    InformationsquelleAutor der Antwort Vic Seedoubleyew

  4. 1

    Ich, dass es ein "Weg"! Vielleicht ist es mehr ein "workaround" als "Weg... Der folgende code überprüft, sowohl für die meta-Attribut "REFRESH" - und javascript-Weiterleitungen... Wenn einer von Ihnen vorhanden ist RedirectedUrl variable festgelegt ist. So wissen Sie Ihre Ziel... Dann kann man abrufen der Ziel-Seite und gehen Sie auf...

        String RedirectedUrl=null;
    Elements meta = page.select("html head meta");
    if (meta.attr("http-equiv").contains("REFRESH")) {
        RedirectedUrl = meta.attr("content").split("=")[1];
    } else {
        if (page.toString().contains("window.location.href")) {
            meta = page.select("script");
            for (Element script:meta) {
                String s = script.data();
                if (!s.isEmpty() && s.startsWith("window.location.href")) {
                    int start = s.indexOf("=");
                    int end = s.indexOf(";");
                    if (start>0 && end >start) {
                        s = s.substring(start+1,end);
                        s =s.replace("'", "").replace("\"", "");        
                        RedirectedUrl = s.trim();
                        break;
                    }
                }
            }
        }
    }

... now retrieve the redirected page again...

    InformationsquelleAutor der Antwort salihcenap

  5. 0

    Gibt es einen Weg, um auch javascript-Inhalte erzeugt beim Parsen Seite mit Jsoup?

    Werde ich denke mal NICHT, darüber nachzudenken, wie schwierig dies werden würde, ohne Gebäude eine gesamte javascript-interpreter in Java.

    InformationsquelleAutor der Antwort James

Schreibe einen Kommentar