Gewusst wie: laden von ajax mit HtmlUnit?

Hier ist ein Weg, es zu tun:

1. Suche die Seite, wie Sie es in Ihrer Vorherige Frage.
2. Wählen Sie search-lego-refinements block-id.
3. Verwendung von XPath navigieren Sie zu der URL (//ul/li/a wenn Sie starten von der vorherigen id).
4. Klicken Sie auf den ausgewählten link.

Das folgende Codebeispiel zeigt, wie es gemacht werden kann:

import java.io.IOException;
import java.net.MalformedURLException;
import java.util.List;

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlButton;
import com.gargoylesoftware.htmlunit.html.HtmlElement;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlTextInput;

public class YoutubeBot {
   private static final String YOUTUBE = "http://www.youtube.com";

   @SuppressWarnings("unchecked")
   public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
      WebClient webClient = new WebClient();
      webClient.setThrowExceptionOnScriptError(false);

      //This is equivalent to typing youtube.com to the adress bar of browser
      HtmlPage currentPage = webClient.getPage(YOUTUBE);

      //Get form where submit button is located
      HtmlForm searchForm = (HtmlForm) currentPage.getElementById("masthead-search");

      //Get the input field
      HtmlTextInput searchInput = (HtmlTextInput) currentPage.getElementById("masthead-search-term");

      //Insert the search term
      searchInput.setText("java");

      //Workaround: create a 'fake' button and add it to the form
      HtmlButton submitButton = (HtmlButton) currentPage.createElement("button");
      submitButton.setAttribute("type", "submit");
      searchForm.appendChild(submitButton);

      //Workaround: use the reference to the button to submit the form.
      currentPage = submitButton.click();

      //Get the div containing the filters
      HtmlElement filterDiv = currentPage.getElementById("search-lego-refinements");

      //Select the first link from the filter block (Upload date)
      HtmlAnchor sortByDateLink = ((List<HtmlAnchor>) filterDiv.getByXPath("//ul/li/a")).get(0);

      //Click the 'Upload date' link
      currentPage = sortByDateLink.click();

      System.out.println(currentPage.asText());
   }
}

Könnten Sie nur Sie die richtige Abfrage-URL (http://www.youtube.com/results?search_type=videos&search_query=nyan+cat&search_sort=video_date_uploaded).

Aber dann müsste man zum Kodieren der parameter für die Suche(N) ein (ersetzen Sie die Leerzeichen mit + zum Beispiel).

Ich habe schon mit HTMLUnit früher für ähnliche Zwecke verwendet werden.

Eigentlich finden Sie alle Informationen, die Sie benötigen hier. HTMLUnit verfügt über AJAX-Unterstützung aktiviert, so dass, wenn Sie die newPage Objekt in Ihrem code können Sie die Ausgabe auf die Ereignisse auf der Seite (Suche nach dem spezifischen element, und rufen Sie es click() - Funktion). Der schwierigste Teil ist, dass AJAX asynchron ist so Sie zu rufen wait() oder sleep() nach der Durchführung von virtuellen auf, so dass der Javascript-code auf der Website konnte den Aktionen. Ist dies nicht der beste Ansatz, da Netzwerk-Nutzung macht sleep() unzuverlässig. Möglicherweise finden Sie etwas, was auf der Seite was ändert sich, wenn Sie ausführen, ein Ereignis, wodurch AJAX-Aufrufe (zB. eine header-Titel ändert sich), so können Sie regelmäßig überprüfen, ob diese Veränderung schon geschehen, auf die Website oder nicht. (Ich sollte erwähnen, dass es eine Veranstaltung resynchronizer gebaut, um HTMLUnit, aber ich konnte nicht verwalten, damit es funktioniert wie ich es erwartet habe.) Ich verwende Firebug oder Chrome developer toolbar, die für die Prüfung der Website. Man könnte prüfen, den DOM-Baum vor und nach dem AJAX-Aufrufe und auf diese Weise werden Sie wissen, wie auf bestimmte Steuerelemente (wie links und dropdown-Menüs) auf der Seite.

Ich würde die XPath-um spezifische Elemente, die dann, zB. Sie können dies zu tun (aus HTML-Unit Beispiele):

//get div which has a 'name' attribute of 'John'
final HtmlDivision div = (HtmlDivision) page.getByXPath("//div[@name='John']").get(0);

YouTube eigentlich nicht verwendet AJAX für den Rückgriff Ergebnis. Wenn Sie auf die Sortieren-dropdown auf der Ergebnis-Seite (dies ist eine verzierte <button>) eine absolute positioniert <ul> angezeigt wird (dies emuliert das drop-down-Teil der combo), die <li> Elemente für jeden Menüpunkt. <li> Elemente enthalten eine spezielle <span> element mit einem href Attribut angebracht. Wenn Sie auf die <span> element Javascript navigiert der browser zu dieser href Wert.

ZB. in meinem Fall die Sortierung nach Relevanz <span> - element sieht wie folgt aus:

<span href="/results?search_type=videos&amp;search_query=test&amp;suggested_categories=2%2C24%2C10%2C1%2C28" class=" yt-uix-button-menu-item" onclick=";window.location.href=this.getAttribute('href');return false;">Relevancia</span>

Können Sie die Liste mit diesen Spannweiten relativ leicht, da die hosting - <ul> ist das einzige Kind von <body>. Obwohl, klicken Sie auf den dropdown-button, weil es erstelle die <ul> element mit allen childs oben beschrieben mit Javascript. Sie können die Sortierung durch die Schaltfläche mit dieser XPath:

//div[@class='sort-by floatR']/button

Können Sie testen Sie Ihre XPath-Abfragen zB. rechts in Chrom, wenn Sie öffnen Sie die Entwickler-tools und Javascript-Entwickler-Konsole aus der Symbolleiste. Dann können Sie testen, wie diese:

>  $x("//div[@class='sort-by floatR']/button")

[
<button type=​"button" class=​" yt-uix-button yt-uix-button-text yt-uix-button-active" onclick=​";​return false;​" role=​"button" aria-pressed=​"true" aria-expanded=​"true" aria-haspopup=​"true" aria-activedescendant data-button-listener=​"26">​…​</button>​
]

Hoffe, diese erhalten Sie in die richtige Richtung.