Schaben Daten dynamisch generiert werden, indem JavaScript im html-Dokument mithilfe von C#

Wenn Sie die WebRequest-Fragen Sie den server, geben Sie die Seite Datei, diese Datei den Inhalt wurde noch nicht analysiert/ausgeführt durch einen web-browser und so der javascript-Code auf, es ist noch nicht alles getan.

Müssen Sie ein tool verwenden, zum ausführen der JavaScript-Code auf der Seite, wenn Sie möchten, um zu sehen, was die Seite aussieht, nachdem analysiert wurde, die von einem browser. Eine option, die Sie haben, ist mit dem eingebauten .net-web-browser-Steuerung: http://msdn.microsoft.com/en-au/library/aa752040(v=vs. 85).aspx

Den web-browser Steuern können, navigieren Sie zu und laden Sie die Seite und dann können Sie die Abfrage der DOM, die verändert wurden, durch das JavaScript auf der Seite.

BEARBEITEN (Beispiel):

Uri uri = new Uri("http://www.somewebsite.com/somepage.htm");

webBrowserControl.AllowNavigation = true;
//optional but I use this because it stops javascript errors breaking your scraper
webBrowserControl.ScriptErrorsSuppressed = true;
//you want to start scraping after the document is finished loading so do it in the function you pass to this handler
webBrowserControl.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(webBrowserControl_DocumentCompleted);
webBrowserControl.Navigate(uri);

private void webBrowserControl_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
{
    HtmlElementCollection divs = webBrowserControl.Document.GetElementsByTagName("div");

    foreach (HtmlElement div in divs)
    {
        //do something
    }
}