wie bauen web-crawler verwenden asp.net mvc3 und c#?
Ich brauchen, um zu bauen die kleine Suchmaschine wie Google verwenden ASP.NET MVC-3. Für diese hier habe ich auch zum erstellen der web-crawler, die füllen Sie die Daten für die Suchmaschine. In Zusammenfassung, die ich benötigen die folgenden Dinge:
How to build web-crawler verwenden Asp.net MVC3 mit C#. Ich fing an zu bauen einige grundlegende, aber ich brauche Anleitung, Ressourcen-und Bücher.
Nutzung dieser web-crawler, ich poulate die Daten für die Suchmaschinen und übernehmen den index auf Daten mit Lucene.Net. und ich muss bauen kleine Suchmaschine, die die Suche in den Daten gefüllt, die von web-crawler.
Bitte jeder Körper hat eine Idee oder Ressourcen oder Bücher. Bitte teilen Sie mit uns.
- möchten Sie vielleicht einen Blick auf meine Umsetzung. stackoverflow.com/a/16975398/1610747
Du musst angemeldet sein, um einen Kommentar abzugeben.
Vielleicht einen Blick in die Dokumentation/Quellcode eines open-source-crawler? Apache Nutch zum Beispiel ist in Java geschrieben, also sollte es nicht allzu schwer sein, zu Lesen, wenn Sie sich die Entwicklung in C#.
Könnte man auch versuchen, Google auf Ihre eigenen...
Nutch Wiki und einige interessante Papiere über Nutch.
Siehe Wikipedia für eine Liste der open-source-crawler.