Crawler

Ein Crawler ist ein automatisiertes Programm, das Seiten und andere Ressourcen im Web abruft und Links verfolgt. Suchmaschinen verwenden Crawler, um neue oder veränderte Inhalte zu entdecken und sie anschließend für die Indexierung zu verarbeiten.

Wie funktioniert ein Crawler?

Ein Crawler beginnt mit bereits bekannten URLs. Nach dem Abruf einer Seite untersucht er unter anderem deren Links und kann dadurch weitere URLs entdecken. Auch XML-Sitemaps liefern Suchmaschinen Hinweise auf Seiten, die gecrawlt werden sollen.

Googles Crawler wird unter dem Sammelnamen Googlebot geführt. Google erklärt ausdrücklich, dass Googlebot heute nicht als einzelnes Programm verstanden werden sollte. Dahinter steht eine gemeinsame Crawling-Infrastruktur mit unterschiedlichen Crawlern und Abrufzwecken.

Beim Abruf moderner Webseiten verarbeitet Google auch JavaScript. Für das Rendering verwendet Google eine aktuelle Chrome-basierte Umgebung. Das ist wichtig, wenn wesentliche Inhalte oder Links erst durch JavaScript in die Seite eingefügt werden.

Was ist der Unterschied zwischen Crawler und Index?

Der Crawler sammelt zunächst Informationen. Danach entscheidet die Suchmaschine, wie sie die gefundenen Inhalte verarbeitet und ob sie in ihren Index aufgenommen werden. Crawling und Indexierung sind daher zwei verschiedene Schritte.

Eine Seite kann von Googlebot abgerufen werden, ohne anschließend indexiert zu werden. Umgekehrt kann eine URL Google bekannt sein, obwohl ein aktueller Crawl blockiert wurde. Deshalb bedeutet „gecrawlt“ nicht automatisch „bei Google gelistet“.

Wie steuerst du Crawler?

Mit einer robots.txt-Datei kannst du Regeln für bestimmte Web-Crawler festlegen. Der Robots Exclusion Protocol wurde 2022 als RFC 9309 standardisiert. Er regelt unter anderem, wie Crawler User-Agent-Gruppen und Allow- beziehungsweise Disallow-Regeln interpretieren sollen.

Wichtig ist die Unterscheidung zwischen Crawling und Indexierung. Ein Disallow in der robots.txt verhindert den regulären Abruf der betroffenen URL durch den angesprochenen Crawler. Es ist jedoch kein verlässlicher Befehl zur Entfernung einer URL aus dem Suchindex.

Warum sind Crawler für SEO wichtig?

Ohne Crawling können Suchmaschinen neue Inhalte normalerweise nicht vollständig erfassen. Deshalb solltest du sicherstellen, dass wichtige Seiten über normale, crawlbare Links erreichbar sind. Google empfiehlt außerdem, bedeutende Seiten mindestens von einer anderen Seite der Website aus zu verlinken.

SEO-Crawler arbeiten nach einem ähnlichen Grundprinzip. Programme für technische Audits rufen eine Website automatisiert ab und melden beispielsweise defekte Links, Weiterleitungen, fehlende Seitentitel oder sehr tief liegende Seiten. Sie bilden Googlebot jedoch nicht exakt nach. Ihre Ergebnisse sind deshalb eine technische Simulation und keine Garantie dafür, wie Google eine Website tatsächlich verarbeitet.

Häufige Fragen