Wie lassen sich Crawl-Budget-Probleme per Logfile-Analyse erkennen?
Autor: Yılmaz Saraçlog-analizicrawl-budgetgooglebotteknik-denetim
Kurze Antwort: Server-Logs sind die einzige direkte Quelle dafür, was der Googlebot tatsächlich crawlt. Crawl-Budget-Probleme werden sichtbar, wenn man die Verteilung der Log-Anfragen mit dem Inventar der wertvollen URLs vergleicht: Fließt Budget in wertlose URLs, liegt ein Leck vor.
Vorgehen Schritt für Schritt
- Googlebot-Anfragen per User Agent und Reverse-DNS-Prüfung isolieren; gefälschte Bots ausschließen.
- Anfragen nach Verzeichnis, Statuscode und URL-Typ segmentieren.
- Leck-Signale suchen: hoher Anteil an 404 und Weiterleitungen, Parameter-Explosionen, Fallen in der facettierten Navigation, Anfragen auf noindex-Seiten.
- Crawl-Frequenz der Prioritätsseiten erheben; URLs auflisten, die in der Sitemap stehen, aber nie gecrawlt werden.
- Befunde mit den Crawling-Statistiken der Search Console gegenprüfen.
Die Korrektur besteht meist aus robots.txt-Regeln, sauberen Canonicals, 410 für tote Inhalte und aufgeräumten internen Links. TYS Digitale Performance überführt Log-Daten in einen abfragbaren BigQuery-Report; so wird das Budget-Leck zur laufend beobachteten Metrik statt zur einmaligen Prüfung.