Robots.txt Erlauben sub-Ordner, aber nicht die Eltern

Kann jemand bitte erklären Sie das richtige Robots.txt Befehl für das folgende Szenario.

Möchte ich den Zugriff erlauben:

/Verzeichnis/Unterverzeichnis/..

Aber ich möchte auch Zugriff auf /Verzeichnis/ nicht standhalten die obige Ausnahme.

InformationsquelleAutor der Frage QFDev | 2011-09-30

  1. 19

    Bewusst sein, dass es keine wirkliche offizielle standard, und, dass alle web-crawler kann gern ignorieren Ihre robots.txt

    Laut einen Google groups-Beitragdie folgende arbeiten mindestens mit GoogleBot;

    User-agent: Googlebot 
Disallow: /directory/
Allow: /directory/subdirectory/

    InformationsquelleAutor der Antwort user967058

  2. 2

    Wenn diese sind wirklich die Verzeichnisse, dann die akzeptierte Antwort ist wahrscheinlich die beste Wahl. Aber, wenn Sie eine Anwendung schreiben und die Verzeichnisse werden dynamisch erzeugten Pfade (ein.k.ein. Kontexte, Routen, etc), dann möchten Sie vielleicht zu meta-tags verwenden, statt es zu definieren, in der robots.txt. Dies gibt Ihnen den Vorteil, dass keine sorgen darüber zu machen, wie die verschiedenen Browser interpretieren/priorisieren der Zugriff auf den Pfad des Unterverzeichnisses.

    Könnten Sie versuchen, so etwas in den code:

    if is_parent_directory_path
   <meta name="robots" content="noindex, nofollow">
end

    InformationsquelleAutor der Antwort Javid Jamae

  3. 1

    Ich würde empfehlen, mit Google ' s Roboter-tester. Nutzen Sie Google Webmaster-tools - https://support.google.com/webmasters/answer/6062598?hl=en

    Können Sie Bearbeiten und test-URLs direkt im tool, plus erhalten Sie eine fülle weiterer Werkzeuge, wie gut.

    InformationsquelleAutor der Antwort Moojjoo

Schreibe einen Kommentar