25.11.2016 von Aylin Chaaban

Der Googlebot

Der Googlebot ist der Webcrawler des Suchmaschinen-Giganten Google. Der Crawler durchsucht das Internet nach neuen und aktualisierten Inhalten und Seiten. So können diese in den Google Index aufgenommen werden.

Informationen über den Googlebot

Googles Ziel ist es, dem Nutzer das zur Suchanfrage passendste und relevanteste Ergebnis auszuliefern. Damit das möglich ist, durchsucht der Suchmaschinen-Riese mithilfe des Googlebots jeden Tag Milliarden von Websites auf neue und aktualisierte Inhalte. Dafür wird ein spezieller Algorithmus verwendet, welches Signale sendet und wieder empfängt.

Die Indexierung

Durch den Prozess des Crawling wird eine Seite in den Google Index aufgenommen beziehungsweise aktualisiert. Nur durch eine Indexierung in einer Suchmaschine ist es möglich, eine Website bei einer Suchanfrage zu finden und mehr Traffic zu erhalten. Erscheint eine Website nicht im Index, so ist es nur möglich, diese durch das Eingeben der kompletten URL zu erreichen. Der Googlebot bietet also die Grundlage für das spätere ‚Gefunden werden‘ von Websites.

Anweisungen

Es gibt Inhalte, die von dem Googlebot nicht ausgelesen werden sollen. Dabei handelt es sich meist um privaten Content wie zum Beispiel Mitgliederkonten. Das Crawlen kann hier durch einen nofollow-Link oder mithilfe von robot.txt unterbunden werden. Es ist jedoch wichtig, dass Website-Betreiber darauf achten, nur die intimen Inhalte mit diesen Attributen zu versehen. Bei fehlerhaften Eingaben kann es dazu führen, dass die ganze Website nicht indexiert wird.

Bedeutung für die Suchmaschinenoptimierung

Ohne den Googlebot wäre jede Optimierung während SEO-Maßnahmen fast überflüssig – denn es würde niemanden geben, der die neuen und verbesserten Inhalte ausliest und an die Suchmaschine schickt. Außerdem kann dem Googlebot ein Teil seiner Arbeit abgenommen werden. Wer beispielsweise eine Sitemap erstellt und an Google schickt, der zeigt dem Webcrawler, welche Seiten neu sind und ausgelesen werden müssen.

Ohne eine Sitemap wird eine Seite zwar auch gecrawlt, allerdings hat das zwei Nachteile: zum einen dauert es länger, bis der Googlebot auf die Website aufmerksam wird. Zum anderen kann es sein, dass er durch eine unvorteilhafte Linkstruktur oder falsch gesetzte nofollow-Attribute in Sackgassen gerät und nicht weiterkommt. So können Unterseiten bei der Indexierung übersehen werden.

Über den/die Autor/in:
Aylin Chaaban

Kommentare sind geschlossen.