Eine Crawl Trap beziehungsweise Crawl-Falle ist eine technische Struktur, durch die ein Crawler immer neue oder praktisch unbegrenzt viele URLs entdeckt. Dadurch kann er sehr viel Zeit in einem unwichtigen Bereich einer Website verbringen, anstatt relevante Seiten effizient zu crawlen.
Wie entsteht eine Crawl Trap?
Typische Crawl-Fallen entstehen, wenn eine Website URLs dynamisch erzeugt. Ein Kalender kann beispielsweise für jeden nächsten Monat einen weiteren Link bereitstellen. Ohne Begrenzung könnte ein Crawler theoretisch Jahre oder Jahrzehnte in die Zukunft navigieren.
Ein ähnliches Problem entsteht bei Online-Shops durch facettierte Navigation. Lassen sich Farbe, Größe, Marke, Preis, Material und Sortierung beliebig kombinieren, entstehen schnell Tausende oder Millionen verschiedener URLs. Google weist darauf hin, dass Filterkombinationen einen nahezu unendlichen URL-Raum erzeugen und erhebliche Crawling-Ressourcen verbrauchen können.
Auch Session-IDs, interne Suchergebnisse, zufällige Parameter oder technisch fehlerhafte relative Links können Crawl Traps verursachen.
Warum sind Crawl-Fallen für SEO problematisch?
Ein Crawler besitzt weder unbegrenzte Zeit noch unbegrenzte Serverressourcen. Wenn Googlebot ständig neue, aber wenig hilfreiche URL-Kombinationen findet, kann das die Entdeckung anderer Inhalte verlangsamen. Besonders relevant ist das bei großen Websites mit vielen Produkt-, Filter- oder Archivseiten.
Eine Crawl Trap bedeutet allerdings nicht automatisch, dass deine gesamte Website aus dem Index verschwindet. Entscheidend sind Größe, interne Verlinkung, Serverkapazität und die Menge der erzeugten URLs.
Wie erkennst du eine Crawl Trap?
SEO-Crawler zeigen häufig auffällige Muster: Die Zahl gefundener URLs steigt ungewöhnlich schnell, bestimmte Parameter wiederholen sich oder URLs werden immer länger. Auch Server-Logfiles können zeigen, ob Suchmaschinen auffallend oft unwichtige URL-Muster abrufen.
Ein Beispiel wäre eine URL wie beispiel-seite.at/schuhe?farbe=rot&groesse=42&sortierung=preis. Wenn dieselben Parameter in wechselnder Reihenfolge oder mit beliebig vielen Kombinationen auftreten, solltest du prüfen, ob alle Varianten wirklich eigenständige Suchergebnisse verdienen.
Wie lässt sich eine Crawl Trap verhindern?
Die beste Lösung besteht darin, unnötige URLs gar nicht erst crawlbar zu erzeugen. Google empfiehlt bei facettierter Navigation beispielsweise, Filter-URLs zu sperren, wenn sie nicht in der Suche benötigt werden. Sollen ausgewählte Filterseiten indexierbar sein, sollten Parameter konsistent aufgebaut, leere Kombinationen mit einem passenden Fehlerstatus beantwortet und redundante URL-Varianten vermieden werden.
robots.txt kann Crawling begrenzen, entfernt eine bereits bekannte URL aber nicht automatisch aus dem Google-Index. Deshalb solltest du Crawling-Steuerung und Indexierungssteuerung getrennt betrachten.
Häufige Fragen
Was ist eine Crawl Trap?
Eine Crawl Trap ist eine Website-Struktur, die immer neue URLs erzeugt und einen Crawler dadurch in einem nahezu unbegrenzten URL-Raum festhalten kann.
Welche Websites sind besonders anfällig für Crawl-Fallen?
Besonders häufig treten Crawl-Fallen bei Online-Shops mit vielen Filtern, Kalendern, internen Suchfunktionen und dynamischen URL-Parametern auf.
Kann robots.txt eine Crawl Trap lösen?
robots.txt kann das Crawling bestimmter URL-Muster einschränken. Sie sorgt aber nicht automatisch dafür, dass bereits bekannte URLs aus dem Suchindex entfernt werden.
