Was ist der beste Weg, um mit robots.txt in Express umzugehen?

Zur Zeit arbeite ich an einer Anwendung gebaut, mit Express - (Node.js) und ich will wissen, was ist der Klügste Weg, um die Handhabung der verschiedenen robots.txt für verschiedene Umgebungen (Entwicklung, Produktion).

Dies ist, was ich jetzt haben, aber ich bin nicht überzeugt von der Lösung, ich denke, es ist dreckig:

app.get '/robots.txt', (req, res) ->
  res.set 'Content-Type', 'text/plain'
  if app.settings.env == 'production'
    res.send 'User-agent: *\nDisallow: /signin\nDisallow: /signup\nDisallow: /signout\nSitemap: /sitemap.xml'
  else
    res.send 'User-agent: *\nDisallow: /'

(NB: es ist CoffeeScript)

Sollte es einen besseren Weg. Wie würdest du es tun?

Danke.

InformationsquelleAutor der Frage Vinch | 2013-02-27

60

Verwendung einer middleware-Funktion. Auf diese Weise die robots.txt behandelt werden vor jeder Sitzung, cookieParser, etc:
```
app.use('/robots.txt', function (req, res, next) {
    res.type('text/plain')
    res.send("User-agent: *\nDisallow: /");
});
```
Mit express 4 app.get jetzt gehandhabt werden soll, in der Reihenfolge angezeigt, sodass Sie können nur verwenden:
```
app.get('/robots.txt', function (req, res) {
    res.type('text/plain');
    res.send("User-agent: *\nDisallow: /");
});
```
InformationsquelleAutor der Antwort SystemParadox
2

Sieht aus wie ein ok Weg.

Alternative, wenn Sie möchten, um in der Lage sein, zu Bearbeiten robots.txt als reguläre Datei, und evtl. noch andere Dateien, die Sie wollen nur in der Produktion oder Entwicklung-Modus wäre die Verwendung von 2 getrennten Verzeichnisse und aktivieren eine oder andere beim Start.
```
if (app.settings.env === 'production') {
  app.use(express['static'](__dirname + '/production'));
} else {
  app.use(express['static'](__dirname + '/development'));
}
```
dann fügen Sie 2 Verzeichnisse, die mit jeder version von robots.txt.
```
PROJECT DIR
    development
        robots.txt  <-- dev version
    production
        robots.txt  <-- more permissive prod version
```
Und Sie können halten das hinzufügen von mehr Dateien in Verzeichnis-und halten Sie Ihren code einfacher.

(sorry, das ist javascript, nicht coffeescript)

InformationsquelleAutor der Antwort Pascal Belloncle
1
1. Erstellen robots.txt mit folgendem Inhalt :
```
User-agent: *
Disallow:
```
2. hinzufügen public/ Verzeichnis.
Ihre robots.txt verfügbar sein wird, um einen crawler http://yoursite.com/robots.txt

InformationsquelleAutor der Antwort atul

Für die Wahl der robots.txt je nach Umgebung mit einer middleware-Weg:

var env = process.env.NODE_ENV || 'development';

if (env === 'development' || env === 'qa') {
  app.use(function (req, res, next) {
    if ('/robots.txt' === req.url) {
      res.type('text/plain');
      res.send('User-agent: *\nDisallow: /');
    } else {
      next();
    }
  });
}

InformationsquelleAutor der Antwort fernandopasik

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.