Regexp für robots.txt

Ich versuche, meine robots.txt aber ich bin nicht sicher über die regexps.

Habe ich vier verschiedene Seiten, die alle in drei verschiedenen Sprachen. Anstelle der Liste auf jeder Seite 3 mal, ich dachte, ich könnte mit einem regexp.

nav.aspx

Seite.aspx/changelang (vielleicht ein query-string angehängt wie "?toLang=fr".)

mypage.aspx?id und
login.aspx/Abmeldung (=12346?... etc - jedes mal anders)

! Alle vier in 3 verschiedenen Sprachen, e.g:

www.example.com/es/nav.aspx

www.example.com/it/nav.aspx

www.example.com/fr/nav.aspx

Nun, meine Frage ist: Ist der folgende regexp korrekt?

User-Agent: *
Disallow: /*nav\.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage\.aspx?id
Disallow: /*login\.aspx\/logoff

Dank

InformationsquelleAutor patad | 2011-06-10
  1. 17

    Reguläre Ausdrücke sind nicht erlaubt robots.txt aber Googlebot (und einige andere Roboter) versteht einige einfache Mustererkennung:

    Ihre robots.txt sollte so Aussehen:

    User-agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff

    User-agent Richtlinie ist gültig mit Kleinbuchstaben a. Sie nicht haben, um zu entkommen . oder `/'.

    Können Sie mehr dazu Lesen Sie hier: Blockieren oder entfernen von Seiten mithilfe einer robots.txt Datei

    InformationsquelleAutor aorcsik
Schreibe einen Kommentar