Crawl-Budget

Das Crawl-Budget beschreibt vereinfacht, wie viele URLs einer Website eine Suchmaschine innerhalb eines bestimmten Zeitraums crawlen kann und möchte. Für Google ergibt es sich vor allem aus der verfügbaren Crawl-Kapazität und dem Bedarf, bestimmte URLs erneut aufzurufen. Google for Developers

Wie entsteht das Crawl-Budget?

Google verwendet beim Crawling nicht für jede Website eine feste Zahl von Seiten pro Tag. Stattdessen berücksichtigt das System mehrere Faktoren. Die Crawl Capacity Limit begrenzt, wie viele gleichzeitige Anfragen Googlebot stellen kann, ohne den Webserver zu überlasten. Reagiert ein Server langsam oder mit Fehlern, reduziert Google seine Crawling-Aktivität.

Daneben gibt es die Crawl Demand, also den Bedarf an weiteren Crawls. Dabei spielen unter anderem die Größe des URL-Bestands, die vermutete Bedeutung einzelner Seiten und deren Aktualität eine Rolle. Eine häufig geänderte Nachrichtenseite kann deshalb öfter besucht werden als ein seit Jahren unveränderter Archivbeitrag. Google for Developers

Für welche Websites ist das Crawl-Budget wichtig?

Für die meisten kleinen und mittelgroßen Websites ist eine gezielte Crawl-Budget-Optimierung kein zentrales SEO-Thema. Google richtet seine entsprechende Dokumentation vor allem an sehr große Websites und an Websites mit vielen schnell wechselnden URLs. Als grobe Größenordnungen nennt Google etwa Websites mit einer Million oder mehr Seiten, die mindestens wöchentlich aktualisiert werden, sowie Websites mit mehr als 10.000 URLs, deren Inhalte sich täglich schnell ändern. Google for Developers

Bei einem normalen Firmenauftritt mit einigen hundert oder wenigen tausend sauber verlinkten Seiten liegt ein Indexierungsproblem daher meist nicht daran, dass ein abstraktes Tagesbudget „aufgebraucht“ wurde.

Was kann Crawl-Budget verschwenden?

Problematisch werden vor allem große Mengen unnötiger URLs. Facettierte Navigation, Kalender, interne Suchergebnisse, Session-IDs oder beliebig kombinierbare URL-Parameter können sehr viele Varianten derselben oder ähnlicher Inhalte erzeugen. Google warnt insbesondere bei Filterkombinationen davor, dass praktisch unendliche URL-Räume entstehen können. Dadurch verbringt der Crawler Zeit mit wenig nützlichen Varianten, während wichtige neue Seiten später entdeckt werden. Google for Developers

Auch lange Weiterleitungsketten, Serverfehler und schlecht gesteuerte Duplicate-Content-Varianten können Crawling unnötig kompliziert machen.

Wie optimierst du das Crawl-Budget?

Am wichtigsten ist eine saubere technische Website-Struktur. Wichtige Seiten sollten intern erreichbar sein, sinnlose URL-Varianten möglichst gar nicht entstehen und nicht mehr vorhandene Inhalte korrekte HTTP-Statuscodes liefern. XML-Sitemaps helfen Google zusätzlich dabei, relevante URLs zu entdecken.

Bei großen Websites lohnt sich außerdem die Analyse von Server-Logfiles und der Crawling-Statistiken in der Google Search Console. Damit erkennst du, welche Bereiche Googlebot tatsächlich besucht und ob ein großer Anteil der Anfragen auf unwichtige URLs entfällt.

Die Optimierung des Crawl-Budgets bedeutet daher nicht, Google zu möglichst vielen Crawls zu zwingen. Ziel ist vielmehr, vorhandene Crawling-Ressourcen auf die URLs zu konzentrieren, die tatsächlich entdeckt, aktualisiert und indexiert werden sollen.

Häufige Fragen