Crawling bezeichnet den automatisierten Abruf von Webseiten und anderen Ressourcen durch einen Crawler. Für Suchmaschinen ist es die Phase, in der neue oder bereits bekannte URLs entdeckt und deren Inhalte abgerufen werden.
Wie funktioniert Crawling bei Google?
Google beschreibt seine Suche vereinfacht in den Phasen Crawling, Indexierung und Bereitstellung von Suchergebnissen. Beim Crawling ruft Googlebot bekannte URLs auf und folgt dort gefundenen Links. Auch Sitemaps können dabei helfen, neue Seiten zu entdecken.
Bei modernen Websites endet der Vorgang nicht unbedingt mit dem Herunterladen des ursprünglichen HTML-Codes. Google kann eine Seite rendern und dabei JavaScript ausführen. So lassen sich Inhalte erkennen, die erst im Browser erzeugt werden.
Das bedeutet allerdings nicht, dass jedes technisch mögliche JavaScript-Setup gleich gut für Suchmaschinen geeignet ist. Wichtige Inhalte und Navigationswege sollten robust erreichbar bleiben.
Crawling ist nicht dasselbe wie Indexierung
Diese Unterscheidung gehört zu den wichtigsten Grundlagen der technischen SEO. Beim Crawling wird eine URL abgerufen. Bei der Indexierung analysiert Google den Inhalt, versucht die Hauptversion einer Seite zu bestimmen und entscheidet, welche Informationen in den Suchindex aufgenommen werden.
Eine URL kann daher den Status „gecrawlt, zurzeit nicht indexiert“ haben. Umgekehrt kann Google eine blockierte URL aus früheren Crawls oder aus externen Links kennen.
Was beeinflusst die Crawling-Häufigkeit?
Google legt nicht für jede URL einen festen Rhythmus fest. Bei großen Websites wirken unter anderem verfügbare Crawl-Kapazität und Crawl-Nachfrage zusammen. Google nennt dabei Faktoren wie Popularität und Staleness, also die Frage, wie wahrscheinlich es ist, dass eine bekannte Seite inzwischen verändert wurde.
Deshalb wird eine oft aktualisierte Startseite möglicherweise häufiger gecrawlt als ein unveränderter Archivartikel. Ein erneuter Crawl lässt sich außerdem nicht auf einen bestimmten Zeitpunkt erzwingen. Selbst nach einer Anfrage über die Google Search Console kann die Verarbeitung Tage oder länger dauern. Wiederholte Anfragen beschleunigen den Vorgang laut Google nicht.
Wie erleichterst du Suchmaschinen das Crawling?
Wichtige Seiten sollten über normale HTML-Links erreichbar sein. Vermeide unnötige URL-Varianten, Sackgassen und Crawl-Fallen. Eine aktuelle XML-Sitemap kann besonders bei großen Websites oder neuen Seiten zusätzliche Hinweise liefern.
Auch die Serverqualität spielt eine Rolle. Häufige 5xx-Fehler oder sehr langsame Antworten können dazu führen, dass ein Crawler seine Aktivität reduziert, um den Server nicht zusätzlich zu belasten.
Gutes Crawling bedeutet deshalb nicht „möglichst viele Bot-Aufrufe“. Entscheidend ist, dass Suchmaschinen die richtigen URLs zuverlässig finden und technisch verarbeiten können.
Häufige Fragen
Was bedeutet Crawling?
Crawling ist der automatisierte Abruf von Webseiten und anderen Ressourcen durch einen Crawler. Suchmaschinen entdecken dabei neue und veränderte URLs.
Ist eine gecrawlte Seite automatisch indexiert?
Nein. Crawling und Indexierung sind getrennte Schritte. Google kann eine Seite abrufen und trotzdem entscheiden, sie nicht in den Suchindex aufzunehmen.
Wie kann ich Crawling verbessern?
Sorge für crawlbare interne Links, eine klare Website-Struktur, möglichst wenige unnötige URL-Varianten und einen zuverlässig erreichbaren Server.
