Wie sollte die Seitenarchitektur bei begrenztem Crawl-Budget vereinfacht werden?

Kurze Antwort: Vereinfachen heißt, crawlbare URL-Menge und Klicktiefe bewusst zu reduzieren: wertlose URL-Räume schließen, ähnliche Seiten zusammenführen, Prioritätsseiten in wenigen Klicks von der Startseite erreichbar machen.

Die wichtigsten Hebel

• Facettierte Navigation: wertlose Filterkombinationen per robots.txt-Mustern vom Crawling ausschließen; wertvolle Kombinationen per Canonical bündeln.
• Parameterbereinigung: Sortier- und Tracking-Parameter aus internen Links entfernen.
• Dünne Inhalte: ähnliche Seiten per 301 zusammenlegen; endgültig tote Inhalte per 410 verabschieden.
• Unendliche Räume: generative Bereiche wie Kalenderseiten und interne Suchergebnisse vom Crawling ausschließen.
• Sitemap-Hygiene: nur indexierbare URLs mit Status 200 behalten; lastmod muss der Wahrheit entsprechen.
• Hub-Seiten: interne Linkdichte auf Prioritätsinhalte erhöhen, keine verwaisten Seiten dulden.

Die Wirkung an zwei Quellen verfolgen: In der Logfile-Analyse muss der Crawl-Anteil der Prioritätsseiten steigen, in den Crawling-Statistiken der Search Console die Discovery-Verschwendung sinken. Architekturentscheidungen verteidigt man mit diesen Daten, nicht mit Vermutungen.