Ist es möglich, mehrere user-agents in eine Zeile?

Ist es möglich, in robots.txt zum geben einer Anweisung auf mehrere bots ohne sich wiederholt haben, es zu erwähnen?

Beispiel:

User-agent: googlebot yahoobot microsoftbot
Disallow: /boringstuff/
Ich habe eine sehr ähnliche Frage an Webmaster.stackexchange, da dachte ich, es wäre besser geeignet, es. Dann sah ich diese Frage schon hier gestellt, also gerade dachte ich würde backlink, falls jemand anderes Lesen möchte, weitere Antworten aus: webmasters.stackexchange.com/questions/59560/...

InformationsquelleAutor elhombre | 2013-11-29

  1. 10

    Ist es eigentlich ziemlich schwer zu geben, eine definitive Antwort auf diese Frage, denn es ist nicht ein sehr gut definierter standard für robots.txt und eine Menge die Dokumentation gibt es vage oder widersprüchlich.

    Den Beschreibung des formats verstanden, die von den Google-bots ist sehr umfangreich und umfasst diese leicht verzerrt Satz:

    Muiltiple start-der-Gruppe-Linien, die direkt nach einander Folgen in der Gruppe-Mitglied Datensätze nach der letzten start-of-line Gruppe.

    Scheint zu tappen, auf etwas, was im folgenden Beispiel gezeigt:

    user-agent: e
user-agent: f
disallow: /g

    Entsprechend der Erklärung unten, stellt dies eine einzige "Gruppe", die Nichtanerkennung der gleichen URL für zwei verschiedene User-Agents.

    Also die korrekte syntax für das, was Sie wollen (mit Bezug auf bot funktioniert gleich wie die Google -) wäre dann:

    User-agent: googlebot
User-agent: yahoobot
User-agent: microsoftbot
Disallow: /boringstuff/

    Jedoch, als Jim Mischel mit ein Punkte heraus, es gibt keinen Punkt in eine robots.txt Datei, die einige bots richtig interpretiere, aber andere können ersticken, so kann es am besten zu gehen mit dem "kleinsten gemeinsamen Nenner", der Wiederholung der Blöcke, vielleicht, indem Sie dynamisch die Generierung der Datei mit einem einfachen "Rezept" und der update-Skript.

    InformationsquelleAutor IMSoP

  2. 4

    Ich denke, die original - robots.txt Spezifikation definiert es eindeutig: eine User-agent Linie kann nur eine Wert.

    Einen Datensatz (aka. ein block, eine Gruppe) besteht aus Linien. Jeder Linie hat die form

    <field>:<optionalspace><value><optionalspace>

    User-agent ist ein Feld. Es ist Wert:

    Ist der Wert dieses Feldes ist der name des Roboters, wird der Datensatz beschreibt-access-policy.

    Es ist singular ("name des Roboters"), nicht im plural ("die Namen der Roboter").

    Soll der Roboter sein, die Liberalen in der Interpretation dieses Feld. Eine case-insensitive substring-match der name ohne version Informationen empfohlen wird.

    Wenn mehrere Werte erlaubt wäre, wie könnte Parser möglicherweise liberal? Je nachdem, was das Trennzeichen wäre (,, , ;, ...), es könnte Teil der Roboter-name.

    Den Datensatz beginnt mit einer oder mehreren User-agent Linien

    Warum sollten Sie mit mehreren User-agent Zeilen, wenn Sie könnte mehrere Werte in eine Zeile?

    Zusätzlich:

    • die Spezifikation nicht definieren Sie ein Trennzeichen, um mehrere Werte in einer Zeile
    • es nicht definieren/ermöglichen es, die für Disallow entweder

    Also statt

    User-agent: googlebot yahoobot microsoftbot
Disallow: /boringstuff/

    sollten Sie verwenden

    User-agent: googlebot
User-agent: yahoobot
User-agent: microsoftbot
Disallow: /boringstuff/

    oder (wohl sicherer, als Sie können nicht sicher sein, ob alle relevanten Parser unterstützen, die nicht so Häufig Weg, dass mehrere User-agent Zeilen für einen Datensatz)

    User-agent: googlebot
Disallow: /boringstuff/

User-agent: yahoobot
Disallow: /boringstuff/

User-agent: microsoftbot
Disallow: /boringstuff/

    (resp. natürlich User-agent: *)

    Aha, ich überfliegen gelesen, dass doc und verpasste der entscheidende Satz - "Die Platte beginnt mit einer oder mehreren User-agent-Linien" - das ist eigentlich viel besser als die Google-Dokument, das ich zitiert.

    InformationsquelleAutor unor

  3. 1

    Entsprechend der original robots.txt Ausschluss-Protokoll:

    User-agent

    Ist der Wert dieses Feldes ist der name des Roboters, wird der Datensatz beschreibt-access-policy.

    Wenn mehr als ein User-agent-Feld ist der Datensatz beschreibt eine identische access-policy für mehr als einen Roboter. Mindestens ein Feld muss vorhanden sein, pro Datensatz.

    Soll der Roboter sein, die Liberalen in der Interpretation dieses Feld. Eine case-insensitive substring-match der name ohne version Informationen empfohlen wird.

    Wenn der Wert '*', der Datensatz beschreibt die Standard-access-policy für alle Roboter, die nicht aufeinander abgestimmt alle anderen Datensätze. Es ist nicht erlaubt, mehrere Einträge in der "/robots.txt" Datei.

    Habe ich noch nie gesehen mehrere bots aufgelistet, die in einer einzigen Zeile. Und es ist wahrscheinlich, dass meine web-crawler wäre nicht korrekt behandelt, so eine Sache. Aber nach der Skillung oben, es sollte legal sein.

    Beachten Sie auch, dass selbst wenn Google waren, um Unterstützung für mehrere Benutzer-agents in einer einzigen Richtlinie, oder mehrere user-agents, wie beschrieben, in IMSoP Antwort (interessant finde, by the way ... ich wusste nicht, dass man) nicht alle anderen crawler wird. Sie müssen entscheiden, wenn Sie möchten, nutzen Sie die komfortable syntax, die sehr wahrscheinlich nur Google und Bing bots unterstützen, oder verwenden Sie die komplexen und einfacheren syntax ist es, dass alle höflich bots unterstützen.

    Ich lese durch, bevor ich verließ meine Antwort, und war ehrlich gesagt nicht klüger: Auf der einen Seite, es könnte sein, beschreiben mehrere user-agents auf einer Linie, obwohl, wenn dem so ist, es sagt nicht, wie um Sie zu trennen (Leerzeichen? Kommas?). Auf der anderen Seite, "record" - hier könnte sein, was Google ruft eine "Gruppe", und "mehr als ein User-agent-Feld" könnte bedeuten, "mehr als eine Zeile beginnend mit 'User-agent:'".
    Würde ich Zustimmen, dass der "kleinste gemeinsame Nenner" - Ansatz ist die sinnvolle hier, obwohl. Ich bin etwas überrascht, es ist immer noch keine bessere definition gibt; das "bessere Dokumentation" von Bing ist lächerlich.

    InformationsquelleAutor Jim Mischel

  4. 0

    Muss man jeden bot in einer anderen Zeile.

    http://en.wikipedia.org/wiki/Robots_exclusion_standard

    Das einzige, was ich dort zu Lesen war "Es ist auch möglich, mehrere Roboter mit Ihren eigenen Regeln.", aber es sagt mir nicht, wenn ich kann, geben Sie eine Regel für alle robots, ohne zu wiederholen, mich mit der gleichen Richtlinie für jeden Roboter

    InformationsquelleAutor SamV

Schreibe einen Kommentar