Wie kann ich verhindern, dass Bing swamping meine Website mit Verkehr unregelmäßig?

Bingbot geändert auf meine Website ziemlich hart für ein paar Stunden jeden Tag, und wird extrem leicht für den rest der Zeit.

Ich würde entweder gerne zu glätten Ihren kriecht, reduzieren Sie die Geschwindigkeit zu begrenzen oder blockieren Sie ganz. Es ist nicht wirklich senden, durch jeden realen Besucher.

Gibt es eine Möglichkeit, kann ich glätten Sie die crawling-oder rate-limit?

InformationsquelleAutor der Frage Tim Haines | 2011-02-08

  1. 23

    Ihre webmaster blog sagt, dass Sie Unterstützung für das hinzufügen von ein crawl-delay-parameter auf Ihre robots.txt Datei zum drosseln des bingbot geändert.

    User-agent: msnbot
Crawl-delay: 1

    Es ist ein bisschen mehr Erklärung in der webmaster FAQ-PDF

    Diese links könnten hilfreich sein:

    http://www.bing.com/toolbox/webmasters

    http://www.bing.com/community/webmaster/f/12252/t/651373.aspx

    InformationsquelleAutor der Antwort nick

  2. 0

    Können Sie bannen, seine IP mittels HTACCESS.

    order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all

    Mehr dazu finden Sie hier: Blog über bot-Blockierung

    InformationsquelleAutor der Antwort Tomáš Zato

  3. 0

    Begrenzen Sie die Anzahl der verbindungen von den crawler zu f ist.ich. 5 durch die Einstellung IPTables wie folgt aus (erfordert root-Zugriff auf der firewall):

    Der Artikel bei 2bits.com

    die Einstellung der IPTables: iptables -I INPUT -p tcp -m connlimit
    --connlimit-above 5 -j REJECT

    Diese Grenzen, die verbindungen von jeder IP-Adresse nicht mehr als 5 gleichzeitige verbindungen. Diese Art von "Rationen" - verbindungen und verhindert, dass die crawler von schlagen Website gleichzeitig.

    InformationsquelleAutor der Antwort Joel Box

Schreibe einen Kommentar