Java - gewusst Wie: laden Sie die vollständige Quelle einer HTML-website

Ich versuche, laden Sie den VOLLSTÄNDIGEN Quellcode einer HTML-Webseite in eine String in Java. Ich habe versucht, mehrere Ansätze, allerdings bekomme ich fast alle source-code. Um es noch schlimmer: einer der wichtigsten Teile, die ich nicht bekommen, ist der Teil, den ich am meisten brauchen!

  • Sie haben unser Mitgefühl, aber Sie werden nicht immer sehr viel anderes, bis du zeigst uns deinen code und erklären im detail die Art der Inhalte, die Sie nicht erhalten.
  • Zeigen Sie uns, was Sie bisher getan haben und erklären, in mehr detail.?
  • Ist die HTML-Webseite öffentlich verfügbar? Wenn dem so ist, kannst du einen link posten?
  • Kontaktieren Sie den website-Autor und Fragen Sie nach der Quelle. aber im ernst, beziehen Sie sich auf den HTML-Quellcode oder source-code der HTML-website?
  • Wenn in diesem code müssen Sie dynamisch erstellt wird, mithilfe von DOM-manipulation, die Sie tatsächlich benötigen dann Javascript-engine zu generieren. Vanille-Java kann das nicht.
InformationsquelleAutor Confiqure | 2012-03-23
  1. 5
    URL url = new URL("http://www.website.com");
URLConnection spoof = url.openConnection();

//Spoof the connection so we look like a web browser
spoof.setRequestProperty( "User-Agent", "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0;    H010818)" );
BufferedReader in = new BufferedReader(new InputStreamReader(spoof.getInputStream()));
String strLine = "";
String finalHTML = "";
//Loop through every line in the source
while ((strLine = in.readLine()) != null){
   finalHTML += strLine;
}
    • Ich sehe ein Mozilla-option gibt. Tut dies NUR funktionieren, wenn du Mozilla? Ich möchte diese arbeiten für die überwiegende Mehrheit der web-Browser.
    • Nein, du bist nur so, dass man mit einem Mozilla-browser, so wie es aussieht, du bist ein legitimer Benutzer die Website durchsuchen.
    • Oh, Okay. Lassen Sie mich dies auszuprobieren.
    InformationsquelleAutor FAtBalloon
  2. 5

    Könnte es sein, weil die Inhalte, die Sie suchen, ist tatsächlich geladen werden dynamisch über ajax/javascript.

    beispielsweise, eine website enthält möglicherweise ein leeres DIV-tag, das wäre bevölkert mit vielen Dingen nur nach dem laden der Seite (Durch einen AJAX-Aufruf an einen anderen Ort).

    • In diesem Fall ist die Wahrscheinlichkeit groß, dass HtmlUnit oder ähnliche Bibliothek wird in der Lage sein, mit den dynamischen Inhalten.
    InformationsquelleAutor
Schreibe einen Kommentar