Tag: google-crawlers

„Crawler“ ist ein allgemeiner Begriff für jedes Programm (wie ein Roboter oder spider) verwendet, um automatisch zu erkennen und Scannen von Webseiten durch das verfolgen von links von einer Webseite zur anderen. Google-crawler namens Googlebot.

Wie man Google das Crawlen einer AngularJS-Anwendung in Ordnung?

Anzahl der Antworten 1 Antworten
Gleichen Webseiten, die nach der Verwendung html5mode und entfernen von hashtags url "Sie brauchen nicht zu dienen, unterschiedliche oder pre-rendered content an Google" sagt. In Google schreiben ajax-crawling-Dokumente veraltet. Andere website schreiben Google gecrawlt werden kann, eine

Ist es möglich, die Steuerung der crawl-Geschwindigkeit von robots.txt?

Anzahl der Antworten 4 Antworten
Können wir sagen, bots Crawlen oder nicht durchforsten unserer website robot.txt. Auf der anderen Seite, wir können Steuern, die crawling-Geschwindigkeit in den Google-Webmaster (wie viel Google-bot crawlt die website). Ich Frage mich, ob es möglich ist, zu

Google-Suche Beschreibung: Keine Informationen für diese Seite verfügbar

Anzahl der Antworten 1 Antworten
Wenn ich Suche meine website in google, es zeigt, wie den ersten Platz mit meiner domain, aber die Beschreibung ist "Keine Informationen für diese Seite verfügbar ist." in Ordnung, korrigierte ich meinen robots.txt wie diese User-agent: *

Vermeiden Sie das Crawlen Teil einer Seite mit "googleoff" und "googleon"

Anzahl der Antworten 2 Antworten
Ich bin versucht zu sagen, Google und anderen Suchmaschinen nicht gecrawlt einige Teile von meiner web-Seite. Was ich Tue, ist: <!--googleoff: all--> <select name="ddlCountry" id="ddlCountry"> <option value="All">All</option> <option value="bahrain">Bahrain</option> <option value="china">China</option> </select> <!--googleon: all--> Nachdem ich hochgeladen,

Enthält & lt; meta name = "fragment" content = "!" & Gt; schädlich für Seiten mit Hashbang?

Anzahl der Antworten 2 Antworten
Google sagt über diesen meta-tag: Die folgenden wichtigen Einschränkungen: Die meta-Tags werden nur Seiten ohne hash-Fragmente. Nur "!" erscheint im content-Bereich. Die meta-Tags müssen in den Kopf des Dokuments. Quelle: https://developers.google.com/webmasters/ajax-crawling/docs/specification?hl=fr-FR Ich bin mir bewusst, dass Sie