wie beschränken Sie die Website indiziert

Ich weiß, diese Frage wurde viele Male gefragt, aber ich möchte, um genauer zu sein.

Ich eine Entwicklung domain-und zog die Seite auf einen Unterordner. Lassen Sie uns sagen, aus:

http://www.example.com/

Zu:

http://www.example.com/backup

So, ich möchte die Unterordner, die nicht indiziert werden von den Suchmaschinen überhaupt. Ich habe robots.txt mit folgendem Inhalt in den Unterordner (kann ich es in einen Unterordner oder es hat die Wurzel immer, weil ich möchte, dass der Inhalt an der Wurzel sichtbar auf Suche engines):

User-agent: *
Disallow: /

Vielleicht brauche ich, um es zu ersetzen und setzen in der root die folgenden:

User-agent: *
Disallow: /backup

Die andere Sache ist die, ich habe irgendwo gelesen, dass bestimmte Roboter nicht respektieren, die robots.txt die Datei würde also nur darum, eine .htaccess-Datei im /backup-Ordner die Arbeit machen?

Order deny,allow
Deny from all

Irgendwelche Ideen?

InformationsquelleAutor Ilian Andreev | 2012-05-26
  1. 13

    Dies würde verhindern, dass das Verzeichnis indiziert:

    User-agent: *
Disallow: /backup/

    Darüber hinaus, Ihre robots.txt die Datei muss in den root deiner domain, also in diesem Fall würde die Datei dort platziert, wo Sie es in Ihrem browser, gehen Sie zu http://example.com/robots.txt

    Als ein beiseite, möchten Sie vielleicht erwägen Sie, eine subdomain für Ihre Entwicklung vor Ort, so etwas wie http://dev.example.com. Dies würde ermöglichen es Ihnen, vollständig trennen die dev Sachen aus der Produktionsumgebung und würde auch sicherstellen, dass Ihre Umgebungen besser entsprechen.

    Beispielsweise können absolute Pfade zu JavaScript-Dateien, CSS -, Bild-oder anderen Ressourcen kann nicht funktionieren, das gleiche vom Entwickler zu der Produktion, und dies kann dazu führen, dass einige Probleme die Straße hinunter.

    Weitere Informationen zur Konfiguration dieser Datei finden Sie die robotstxt.org Website. Viel Glück!

    Als eine Letzte Anmerkung Google Webmaster-Tools hat einen Abschnitt, wo Sie können sehen Sie, was blockiert ist, durch die robots.txt Datei:

    Um zu sehen, welche URLs Google gesperrt wurde durchforstet, besuchen Sie die Seite Blockierte URLs der Gesundheit Abschnitt der Webmaster-Tools.

    Ich empfehle, dass Sie dieses tool verwenden, wie ein falsch konfiguriert robots.txt die Datei könnte erhebliche Auswirkungen auf die Leistung Ihrer website.

    • +1 für eine ausführliche Erklärung, danke für die Erinnerung mich auch 🙂
    • Keine Sorge! Vielen Dank 🙂
    • Hallo danke für den Kommentar und die Erinnerung über die meisten Dinge. Eine Frage aber muss ich setzen, um eine disallow: / die dev subdomain, so dass Dateien nicht indiziert? Ich will es nur auf die Produktion... auch was ist mit duplicate content aus, dass dev subdomain?
    • Hallo Ilian, es hängt davon ab, ob der server öffentlich oder hinter einer firewall. Hinter einer firewall wäre sicherer, da Sie nicht brauchen, um sorgen über die Datei robots. Es gibt einige kontroversen über die duplicate content-Problem zwar nicht, aber um sicher zu sein, vermeiden wir so viel wie möglich. Ein Vorschlag für, wenn Sie gehen, um einen robots.txt auf den dev ist, um es dynamisch generiert. Wenn Sie zu halten zu erinnern, um es zu Bearbeiten, bevor die Bereitstellung der Website, dass die manuelle Prozess könnte wieder kommen, um dich heimzusuchen, wenn der GoogleBot hat einen disallow Eintrag alle.
    • Danke für die ausführliche Antwort @jmort253 ! Eine Letzte Sache, die ich wissen wollte ... ich will eine Art "Geheimnis" - Verzeichnis. Scheinbar, wenn ich es in robots.txt könnte jemand öffnen robots.txt und es erraten. Es ist eine einzelne Datei in diesem Verzeichnis, also habe ich ein meta-robots-mit noindex, nofollow, aber wenn ich gehe zu Google Webmaster Tools -> Blockiert URL und versuchen zu Holen dieser Seite es sagt es ist erlaubt für den Googlebot ist. Warum ist das so?
    • Keine Ordner auf das Internet über port 80 ist wirklich geheim. Security by obscurity ist wirklich kein Geheimnis überhaupt. Was Sie wirklich brauchen, ist eine Art von Sicherheit, die erfordert einen Benutzernamen und ein Passwort... Aber, um Ihre Frage zu beantworten, ich denke, Sie könnte das Gegenteil zu tun: Verwenden Sie eine Disallow: * und fügen Sie Allow: /path Ausnahmen. Die Risiken sind jedoch, dass man vergisst, eine allow-Anweisung. Mein Vorschlag ist, sicher sein, um viel der Forschung selbst, bevor Sie gehen auf diesem Weg. Ich würde es hassen zu hören, dass Sie etwas zu tun, hat negative Auswirkungen für Ihre Website 😉
    • Nein hier ist der Grund, warum ich es getan 🙂 Der admin befindet sich in example.com/admin, die sehr leicht zu erraten. Es ist secure login, ssl aktiviert und der Benutzer gesperrt für 30 Minuten auf 3 versuche, aber ich einbringen wollte noch eine Art von "Gateways", so dass Sie nicht direkt gehen Sie zu /admin und anmelden. Also ich habe diesen Ordner und legen Sie eine einfache Datei, in der es um eine session-variable, die Ihnen erlaubt, gehen Sie zu /admin und nicht umgeleitet. Sie bekommen meine Idee?
    • Sicher, eine Kombination der beiden, beide cover und verschweigen 🙂 werfen Sie einen Blick auf die Webmaster-tools, wenn Sie nicht bereits getan haben. Der Abschnitt in der es im "Hilfe -> Blockierte URLS" kann Ihnen helfen, sicherzustellen, dass Sie nicht blockieren Sie alles wichtige.
    • Vielen Dank für das Engagement in dieser Frage, Sie verdient deine Antwort akzeptiert zu werden 🙂
    • Ich bin glücklich zu helfen! Viel Glück! 🙂
    • Können wir verhindern, dass die Indizierung verwenden .htaccess-Datei?

    InformationsquelleAutor jmort253
Schreibe einen Kommentar