Wie kann man Crawlern den Zugang zu index.php nur, mit robots.txt?

Wenn ich will, dass nur crawler-Zugriff index.php wird das funktionieren?

User-agent: *
Disallow: /
Allow: /index.php
Ich bin neugierig, warum würden Sie wollen, dies zu tun...würden Sie es nicht wollen-crawler zu indizieren viel mehr von Ihrer Website?

InformationsquelleAutor todd | 2009-10-28

  1. 20

    Ja, es wird funktionieren. Hier ist das Testergebnis von der Google Webmaster-Tool.

    Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

    Beachten Sie jedoch, dass mit dieser Konfiguration Ihre Website-homepage nicht durchsucht werden, es sei denn, die Seite aufgerufen wird mit dem voll qualifizierten Pfad.
    In anderen Worten, http://www.example.org/ ist verboten, während http://www.example.org/index.php erlaubt ist.

    Wenn Sie möchten, dass Ihre homepage erreichbar sein, hier ist eine bessere version Ihrer Datei.

    User-agent: *
Disallow: /
Allow: /index.php
Allow: /$
    Können Sie erklären, warum die /$ funktioniert, oder was es tut?
    Erklärung für /$ gefunden werden kann hier

    InformationsquelleAutor Simone Carletti

  2. 3
    User-agent: *

Allow: /index.php
Disallow: /

    InformationsquelleAutor bulava

  3. 2

    Tauschen die Reihenfolge der Disallow /Allow:

    User-agent: *
Allow: /index.php
Disallow: /

    Siehe diese info von wikipedia:

    "Noch, um die Kompatibilität zu allen
    Roboter, wenn Sie zulassen möchten, dass einzelne
    - Dateien in ein anderes nicht zulässig
    Verzeichnis, müssen Sie das Erlauben
    Richtlinie(N) zuerst, gefolgt von den
    Verbieten, zum Beispiel:"

    http://en.wikipedia.org/wiki/Robots.txt

    Trotzdem würde ich nicht erwarten, es auf der Arbeit auch konsequent

    InformationsquelleAutor UpTheCreek

  4. 1

    Können Sie die Google-Roboter Werkzeug zur Kasse. Ich würde nie eine geheime Verzeichnisse in der Datei robots als würde ich vermuten, dass eine Zeile wie folgt Aussehen würde wie der Honig für bestimmte Spinnen.

    Disallow: /secret

    InformationsquelleAutor Janco

  5. 1
    User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow: /

Sitemap: http://www.your-site-name.com/sitemap.xml
    Erklären Sie Ihre Antwort ein wenig?

    InformationsquelleAutor mRGogo

Schreibe einen Kommentar