Immer mehr Suchergebnisse pro Seite über die URL

Ich Schreibe ein Programm, welches extrahiert Daten aus web-Recherchen. Um mehr Daten, die ich idealerweise gerne extrahieren mehr Ergebnisse pro Abfrage durch ein script (sagen wir mal 100 oder so).

Meine Frage ist, gibt es eine Möglichkeit zum ändern der URL für Google, Yahoo, oder Bing (Präferenz in der Reihenfolge), so dass ich mehr als 10 Ergebnisse pro Abfrage?

Für Google, Anhängen &num=99 verwendet, um die Arbeit an einem Punkt aber nicht mehr funktioniert 🙁
Ich sah eine ähnliche append &count=50 aber das hat nicht funktioniert auf jedem der Suchmaschinen.

Diese Frage gehört auf Web Anwendungen SE.

InformationsquelleAutor user1319504 | 2013-07-15

  1. 8

    Den Grund num=99 nicht für Google arbeiten wird, weil die num parameter - Istwert nicht verwendet, sondern ist im Vergleich zu einer Liste von erlaubt Werte.

    Die erlaubten Werte sind 10, 20, 30, 40, 50, und 100. Alle anderen Werte für dieses Feld werden ignoriert.

    Für Bing, der parameter ist count=## wo ## kann alles von 1-100.

    Für Yahoo, der parameter ist n=## wo ## kann alles von 1-100.

    In den meisten Fällen, die URL-parameter funktioniert nur, wenn der Benutzer hat nicht angegeben, die Anzahl der Suchergebnisse für die Suche der Suchmaschine Einstellungen. Ansonsten, cookie Vorrang.

    funktioniert nicht auf Bing mehr
    Habe es gerade getestet mit einige zufällige zahlen und es hat funktioniert: bing.com/search?q=cats&count=1 bing.com/search?q=cats&count=13 bing.com/search?q=cats&count=75
    Uo, du hast Recht! Es ist nur die Arbeit für meine in einem "privaten", nicht in meinem öffentlichen Sitzung. Vielleicht ein cookie. Vielen Dank für die überprüfung erneut.

    InformationsquelleAutor Steve

  2. 2

    Ich weiß nicht, welche Programmiersprache Sie verwenden, aber die Allgemeine Idee ist, laden Sie die google Suche-Seite mit dem richtigen cookie-Einstellungen (das ist, wie Sie gespeichert sind, zu der Zeit des Schreibens dieses Artikels).

    Können Sie festlegen und dann view-cookies in Google Chrome. Zur Vermeidung unnötiger cookies, öffnen Sie ein neues Inkognito-Fenster (Strg+Shift+N) und navigieren zu den Einstellungen suchen (https://www.google.com/preferences).

    In der Zeit des Schreibens, die Sie prüfen wollen "Nie zeigen sofortige Ergebnisse", und stellen Sie dann den Schieberegler "Ergebnisse pro Seite" auf das, was Wert, den Sie wollen. Nach dem drücken von "Speichern" auf der Unterseite, Sie können nun sehen Sie Ihre cookies durch öffnen der Entwickler-Konsole (Strg+Shift+J), und navigieren Sie zu der Registerkarte "Ressource".

    Wieder, die zum Zeitpunkt des Schreibens, Google setzt zwei Variablen NID und PREF. PREF ist, die wir interessiert sind, um die Suchergebnisse zu ändern. Ein Beispiel wie es Aussehen könnte:

    ID=8155cce71859f7d0:U=fe6e69e174148b7b:FF=0:LD=en:NR=40:TM=1379366492:LM=1379366586:SG=2:S=FoybwBhek8noyp0t

    (Diese Taste holt 40 Ergebnisse wie angegeben durch NR=40)

    Mit diesem Schlüssel (PREF) und dem Wert für den es sich (wie oben gesehen), können Sie das cookie senden, wenn eine Seite anfordert, die über wget, curl, etc. In meinem jüngsten Projekt in diesem Zusammenhang war ich mit Knoten mit der Anfragen Bibliothek.

    Hier ist ein snippet, wie man gehen kann über das abrufen einer Google-Seite mit 40 Ergebnisse (modifiziert Beispiel aus der Anfragen-Dokumentation):

    var j = request.jar();
var cookie = request.cookie('PREF=ID=8155cce71859f7d0:U=fe6e69e174148b7b:FF=0:LD=en:NR=40:TM=1379366492:LM=1379366586:SG=2:S=FoybwBhek8noyp0t');
j.add(cookie);
request({url: 'https://www.google.com/search', jar: j}, 
function(error, response, body) {
    //do something with the body (html) of the page! 
});

    Oder werfen Sie einen Blick auf die man-Seiten für wget /curl. Ich weiß, dass wget gibt eine --load-cookies Flagge, die Sie verwenden können.

    Können Sie dieses zu anderen cookie-basierte website, die Sie benötigen content aus. Yahoo! nutzt cookie-basierte Einstellungen - ich bin mir nicht sicher, was Bing verwendet.

    NR m Reinigung ?

    InformationsquelleAutor JayQuerie.com

  3. 1

    Hinzufügen &n=100 auf links. Bekommen Seite mit 100 Ergebnisse

    Scheinen nicht zu funktionieren. Müssen num.
    Ich denke, dass sollte &num=100, nicht &n=100. Und es kann oder kann nicht nur für die Google-Suche.

    InformationsquelleAutor Voprosec Voprosec

Schreibe einen Kommentar