Ein Deep Crawl bezeichnet im SEO meist einen besonders umfassenden Crawl, der viele Ebenen und URLs einer Website erfasst. Der Begriff wird außerdem historisch im Zusammenhang mit Suchmaschinen verwendet, ist aber keine offizielle Bezeichnung für eine heutige, getrennte Google-Crawlphase.
Was bedeutet Deep Crawl bei SEO-Audits?
SEO-Crawler beginnen üblicherweise bei einer Start-URL und folgen internen Links. Jede weitere Linkebene erhöht die sogenannte Crawl Depth. Eine Seite, die nur über mehrere Klicks erreichbar ist, liegt tiefer in der Website-Struktur als eine direkt von der Startseite verlinkte Seite.
Ein Deep Crawl versucht, möglichst große Teile dieser Struktur zu erfassen. Das ist vor allem bei großen Online-Shops, Medienportalen oder technisch komplexen Websites nützlich. Crawler können dabei Weiterleitungen, Statuscodes, Canonicals, Meta-Daten, interne Verlinkungen und andere technische Merkmale analysieren.
Tools wie Lumar, Sitebulb oder Screaming Frog verwenden dafür eigene Crawling-Systeme. Das Verhalten solcher Programme ist nicht identisch mit Googlebot.
Deepcrawl als früherer Produktname
Der Begriff ist auch durch das SEO-Tool Deepcrawl bekannt geworden. Das Unternehmen startete 2010 mit einer cloudbasierten Plattform für technische Website-Crawls. Im September 2022 wurde Deepcrawl in Lumar umbenannt.
Wenn du heute in älteren SEO-Artikeln von „DeepCrawl“ liest, kann also das frühere Produkt gemeint sein und nicht eine allgemeine Crawling-Methode.
Gibt es bei Google einen Deep Crawl?
Historische SEO-Texte beschrieben teilweise getrennte „Fresh“- und „Deep“-Crawls von Google. Diese Darstellung eignet sich nicht als Beschreibung der heutigen Google-Infrastruktur.
Google beschreibt aktuelles Crawling stattdessen über eine gemeinsame Crawling-Plattform und Faktoren wie Crawl-Kapazität, Crawl-Nachfrage, Popularität und Aktualisierungsbedarf. Google weist außerdem darauf hin, dass „Googlebot“ kein einzelnes Programm ist.
Du solltest daher nicht davon ausgehen, dass deine Website regelmäßig auf einen bestimmten, offiziell terminierten „Deep Crawl“ von Google wartet.
Wozu ist ein tiefer Crawl sinnvoll?
Ein umfassender Crawl kann Probleme sichtbar machen, die bei einer Stichprobe unentdeckt bleiben. Dazu gehören verwaiste Bereiche, sehr tiefe Seiten, Weiterleitungsketten oder große Mengen ähnlicher URLs.
Allerdings ist „mehr crawlen“ nicht automatisch besser. Bei Websites mit Millionen URLs können Filterparameter oder Kalender einen SEO-Crawler selbst in eine Crawl-Falle führen. Deshalb werden professionelle Crawls häufig durch URL-Regeln, maximale Tiefen oder bestimmte Verzeichnisse begrenzt.
Ein Deep Crawl ist damit vor allem eine Audit-Methode: Du versuchst, möglichst umfassend zu verstehen, wie deine Website technisch aufgebaut und intern verbunden ist.
Häufige Fragen
Was ist ein Deep Crawl?
Ein Deep Crawl ist ein umfassender Website-Crawl, bei dem viele URLs und Linkebenen untersucht werden. Der Begriff wird vor allem im technischen SEO verwendet.
Führt Google heute einen eigenen Deep Crawl durch?
Google beschreibt seine aktuelle Crawling-Infrastruktur nicht als getrennte Fresh- und Deep-Crawl-Phasen. Moderne Google-Dokumentationen sprechen stattdessen unter anderem von Crawl-Kapazität und Crawl-Nachfrage.
Ist Deepcrawl dasselbe wie Deep Crawl?
Deepcrawl war der Name einer Plattform für technische SEO-Crawls. Das Unternehmen wurde 2022 in Lumar umbenannt. Deep Crawl kann dagegen allgemein einen besonders umfassenden Crawl meinen.
