Wie man HTML-Inhalts der Webseite aus ASP.NET

Ich würde gerne kratzen einige Inhalte aus einer dynamischen web-Seite (scheint, es ist entwickelt in MVC).

Daten Schaben Logiken fertig sind mit dem HTML-agility, aber jetzt das Problem,
HTML zurückgegeben wird, während der bitte um die URL aus dem browser und web-Antwort von der URL aus ASP.NET web-Anfrage ist anders.

Hauptsächlich browser-response-dynamische Daten, die ich brauche (rendert, basierend auf dem übergebenen Wert im query-string), aber die WebResponse Ergebnis ist unterschiedlich.

Könnten Sie mir bitte helfen, um die tatsächlichen Inhalt der web-Seiten dynamischen Ansicht WebRequest.

Unten ist der code, den ich verwendet, um zu Lesen:

WebRequest request = WebRequest.Create(sURL);
request.Method = "Get";
//Get the response
WebResponse response = request.GetResponse();
//Read the stream from the response
StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.UTF8);
  • In welcher Weise ist die "WebResponse-Ergebnis" anders?
  • Die HTML-Inhalte, die ich von Ansicht-Quelle für web-URL unterscheidet sich von der HTML-Inhalt für ASP.Net web-Antwort. Zum Beispiel: Wenn die URL für restaurants in spezifischen post-code-browser angeforderten HTML hat Liste von restaurants in diesem Bereich, aber die Web-Antwort HTML hat keine restaurants in DIV. <div><li>restaurant 1</li><li>Restaurant 2</li></div -- Browser Resposne. <div><li></li><li></li></div> -- ASP.Net web-Antwort
InformationsquelleAutor Gopinath | 2014-09-23
  1. 12

    Auf, um den Inhalt einer web-Seite mit HttpWebRequest...

    //We will store the html response of the request here
string siteContent = string.Empty;

//The url you want to grab
string url = "http://google.com";

//Here we're creating our request, we haven't actually sent the request to the site yet...
//we're simply building our HTTP request to shoot off to google...
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.AutomaticDecompression = DecompressionMethods.GZip;

//Right now... this is what our HTTP Request has been built in to...
/*
    GET http://google.com/HTTP/1.1
    Host: google.com
    Accept-Encoding: gzip
    Connection: Keep-Alive
*/


//Wrap everything that can be disposed in using blocks... 
//They dispose of objects and prevent them from lying around in memory...
using(HttpWebResponse response = (HttpWebResponse)request.GetResponse())  //Go query google
using(Stream responseStream = response.GetResponseStream())               //Load the response stream
using(StreamReader streamReader = new StreamReader(responseStream))       //Load the stream reader to read the response
{
    siteContent = streamReader.ReadToEnd(); //Read the entire response and store it in the siteContent variable
}

//magic...
Console.WriteLine (siteContent);
    • Wenn Sie gehen, um nach unten Abstimmung... schreiben Sie einen Kommentar zumindest erklären, warum so kann ich es verbessern, und andere nicht den Eindruck bekommen, dass diese Lösung nicht funktioniert
    • Vielen Dank für diese, aber alles, was ich wissen muss, ist, warum die Anforderung für eine URL aus browser gibt richtige Ergebnis (HTML), dass ASP.Net web-Anfrage nicht. Ist dies, weil der angeforderten Seite wurde entwickelt, um in ASP.Net MVC?
    • Es wird in der Lage sein... es gibt vielleicht andere Dinge, aber egal was es ist... ich kann Ihnen versichern, dass, wenn Sie besuchen Sie es in einem web-browser... Sie können es mithilfe der HttpWebRequest-Klasse, weil Sie beide verwenden HTTP. Das Problem könnte sein, dass es leitet Los durch JavaScript... oder vielleicht AJAX-Anfragen versenden, sobald die von Ihnen angeforderte Seite geladen wurde... Download Fiddler... und Blick auf die HTTP requests, die passiert sind, sobald Sie besuchen Sie die Seite in einem browser
    • DAS KLAPPT PERFEKT. Es tut dies, Anfrage per clientseitiger. Also keine Notwendigkeit, zu versuchen, diese auf der client-Seite mit jquery etc.
    InformationsquelleAutor Aydin
Schreibe einen Kommentar