Crawl Budget

Definition

Im Prinzip ist das Crawl Budget die Anzahl an Ressourcen, die zum Durchsuchen einer Webseite verwendet werden. Wie viele und wie oft z.B. Unterseiten von einer Webseite durchsucht werden entscheidet Google.

Wie wird das Crawl Budget beeinflusst?

Es gibt einige Faktoren die das Crawl Budget eines Crawlers beeinflussen. Die meisten beeinflussen das Budget allerdings negativ! Beim crawlen ist es wichtig, dass die unterschiedlichen Seiten einen Mehrwert bieten.

Ein Problem kann bestehen, wenn eine Webseite viele Unterseiten enthält. Durch das Budget des Crawlers werden nicht alle Seiten der Webseite gecrawlt und somit auch nicht indexiert. Das kann zur Folge haben, dass der Webseitenbetreiber weniger Traffic bekommt.

Die Crawl Rate solltest du in dem Zusammenhang auch kennen. Die Definition von Google dazu lautet wie folgt:

Die Crawling-Frequenz bezeichnet die Anzahl der Anfragen pro Sekunde, die der Googlebot während des Crawling-Vorgangs auf deiner Website ausführt, z. B. fünf Anfragen pro Sekunde.

Diese ist abhängig von zwei Faktoren:

1. Anzahl der gleichzeitig verwendeten Verbindungen, die der Spider zum crawlen einer Webseite benötigt.
2. Die Zeit, die zwischen den Abrufen einer Webseite liegt.

Der Nachteil stellt sich dann heraus, wenn eine Webseite sehr langsam reagiert. Folglich wird dadurch die Crawl Rate für diese Webseite reduziert.

Reagiert eine Webseite im Gegensatz sehr schnell, so geht der Crawler davon aus, dass die Server einwandfrei laufen.

Wie schnell oder langsam eine Webseite reagiert nennt man die "Crawl Health".

Ebenfalls wichtig für das Thema ist der Begriff Index Budget. Es gibt vor, wie viele von den gecrawlten Seiten tatsächlich indexiert werden.

Der Unterschied wird anhand folgendem Beispiel sichtbar:
Wenn ein Crawler eine alte Webseite crawlt, auf der sich viele Unterseiten befinden, die nicht mehr erreichbar sind (Fehlercode – 404), dann wird das Crawl Budget mit jeder aufgerufenen Seite belastet.

Da die meisten Seiten allerdings die 404 Rückmeldung geben und daher nicht indexiert werden können, wird das Index Budget nicht ausgelastet. Wenn eine Seite aufrufbar ist aber nicht den erhofften Inhalt bietet, wird anstatt des 404 Status ein Status 200 (OK- Die Anfrage wurde erfolgreich bearbeitet) gesendet.

Relevanz für SEO

Für die Suchmaschinenoptimierung ist das Crawl Budget von großer Bedeutung. Wie am obigen Beispiel bereits erklärt, kann es sein, dass das Crawl Budget nicht ausreicht um alle Seiten einer Webseite zu erreichen. Somit wird das Crawl Budget nicht ideal ausgenutzt.

Hier kann man allerdings mit ein paar Optimierungen Abhilfe schaffen. Wichtig ist, dass man Seiten identifiziert, die nicht erreichbar sind, minderwertigen oder geringen Content enthalten. Diese Seiten sollten dem Searchbot verwehrt werden.

Tipp: Das Crawl Budget kann auch manuell in der Google Search Console festgelegt werden.

Wie nutze ich das Crawl Budget optimal aus?

Für jedes Problem gibt es auch eine Lösung. Man muss nur wissen welche Möglichkeiten man hat. Nun folgen ein paar Tipps wie man das Potenzial des GoogleBots oder anderen Spidern optimal ausnutzen kann.

1. Zuerst sollte man unwichtige Seiten wie z.B. Login Seiten vom Crawling ausschließen. Das ist über die robot.txt möglich oder über die Meta-Tag Angaben nofollow und noindex. Der Crawler beachtet zuerst die Angaben in der Robot.txt. Wenn die entsprechende Angabe also hinterlegt ist, berücksichtigt er gar nicht erst die Angaben des Meta-Tags. Problem der Robot.txt: Ausgeschlossene Seiten können trotz des Eintrags erscheinen, wenn diese bspw. durch andere Seiten verlinkt wurden und Google diese als relevant einstuft.

2. Die Webseite sollte eine flache Seitenstruktur haben und die Unterseiten durch wenige Klicks erreichbar sein.
3. Seiten die wichtiger sind sollten eine interne Verlinkung aufweisen, besonders die, die durch Backlinks verbunden sind.

Fazit

Das Crawl Budget hat eine große Bedeutung für die Suchmaschinenoptimierung. Wenn man „unnötig“ das Crawl Budget eines Suchmaschinenspiders verschwendet, verschenkt man eventuell wertvollen Traffic. Wenn du eine kleine oder mittelgroße Webseite besitzt oder verwaltest, brauchst du dir keine Gedanken darüber machen ob das Crawl Budget ausreicht.