Wie nicht zulassen, eine mirror-Website (sub-domain) mit robots.txt?

Ich habe eine website, nämlich :

http://domain.com/

Spiegel auf 

http://cdn.domain.com/

Ich will nicht cdn indiziert werden. Wie kann ich schreiben robots.txt Regel zu vermeiden, die cdn indiziert ohne meine Gegenwart robots.txt ausschließt.

Meiner jetzigen robots.txt schließt :

User-agent: *
Disallow: /abc.php

Wie kann ich vermeiden cdn.domain.com indiziert ?

User-agent: *
Disallow: /abc.php
  • Try this: Ich denke, Sie könnten ein separates robots.txt Datei in der sub-domain und machen Sie Ihre AUSSCHLÜSSE von dort. Können Sie blockieren eine ganze subdomain via robots.txt aber Sie müssen, um einen robots.txt Datei und legen Sie Sie in das root der subdomain, dann fügen Sie den code, um direkt die bots fern zu bleiben, die gesamte sub-Domain-Inhalte. User-agent: * - Disallow: /
  • Konsultieren Sie stackoverflow.com/questions/4904642/...
  • Sie könnten einen robots-cdn.txt und indescriminately umschreiben robots.txt auf die von den sub-Domain-virtural-host.
  • Kann-nicht anders robots.txt da es ein cdn und kann-nicht über andere codebase.
  • Ich bin nicht vorschlagen, dass ... ich bin, was eine zusätzliche Datei robots genannt robots-cdn.txt das wird, von der Magie der Neufassung serviert werden auf den cdn anstelle der robots.txt
  • Jetzt läuft es auf what have you tried?.
  • Es ist im Grunde die nicht-akzeptierte Antwort auf die Frage, die @Fred verwiesen
  • Ich bin fast Angst zu post it as an answer lol! Wir wissen nicht, was der OP versucht, oder noch nicht ausprobiert.
  • gehen für Sie ... Sie fanden docs... ich war zu erraten 🙂
  • Gehen für es. Cheers
  • Danke @Orangepill. Jungs vielen Dank für eine große Anstrengung. Alle diejenigen, die mis-verstanden die Fragen stimmten Sie nieder.

InformationsquelleAutor Yugal Jindle | 2013-06-05
  1. 10

    in Ihrer Wurzel .htaccess-Datei fügen Sie die folgende 

    RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Amazon.CloudFront$
RewriteRule ^robots\.txt$ robots-cdn.txt

    Erstellen und dann einen separaten robots-cdn.txt:

    User-agent: *
Disallow: /

    Wenn auf Sie zugegriffen wird, werden über http://cdn.domain.com/robots.txt zurückkehren wird, die Inhalte der robots-cdn.txt Datei... sonst wird das umschreiben nicht kick und die wahre robots.txt wird kick in.

    Diese Weise sind Sie frei, um den Spiegel der gesamten Website (einschließlich, der .htaccess-Datei) mit dem erwarteten Verhalten

    Update :

    • HTTP_USER_AGENT hat es da Amazon es verwendet, beim Abfragen von jedem beliebigen Ort aus.
    • Habe ich überprüft und es funktioniert
    • Sir, ich glaube nicht, dass dies funktionieren wird. Seit cdn ist keine Maschine und daher, wenn ich bitten Roboter von cdn ist, wird es inturn es Fragen aus domain.com wie eine normale browser-client. Also, wir bekommen das gleiche robots.txt (wollen wir nicht)
    • http_host variable ist nicht unter Bezugnahme auf ein Netzwerk-host. seine Bezugnahme auf den host-Teil einer url. Sie können die gleiche variable in php die $_SERVER[HTTP_HOST] superglobale
    • Sie hatten Recht, obwohl HTTP_USER_AGENT arbeitete stattdessen für amazon. Ich habe die erforderlichen änderungen in die Antwort. Danke.
    InformationsquelleAutor Orangepill
  2. 0

    Wenn die codebase, die gleichen sind, können Sie generieren Ihre robots.txt dynamisch und ändern Sie dessen Inhalt je nach den gewünschten (sub -) domain.

    • Hm.. können Sie mir helfen mit etwas code, da ich auch versuchte, was Sie gesagt haben.
    • Was die Sprache und die Plattform verwenden Sie?
    InformationsquelleAutor ZeWaren
Schreibe einen Kommentar