Google berichtet über Herausforderungen beim Crawling im Jahr 2025

Google-Mitarbeiter Gary Illyes und Martin Splitt haben in einem Podcast die zentralen Schwierigkeiten beim Crawling von Webseiten im Verlauf des Jahres 2025 thematisiert. Die Analyse der Suchmaschine ergab, dass diverse Parameter und Navigationsstrukturen die Effizienz des Crawling-Prozesses erheblich beeinträchtigen.

Hauptprobleme beim Crawling

Als grösste Herausforderung wurde die Facettennavigation identifiziert, die rund 50 Prozent der Schwierigkeiten ausmachte. Diese tritt häufig auf E-Commerce-Websites auf, wo Nutzer Produkte nach verschiedenen Kriterien filtern können. Die dabei entstehende Vielzahl an URL-Kombinationen kann dazu führen, dass Googlebot unnötig viele Seiten crawlt, was die Server belasten und die Leistung der Website beeinträchtigen kann.

Weitere signifikante Probleme waren Aktionsparameter mit einem Anteil von 25 Prozent. Beispiele hierfür sind Parameter wie ?add_to_cart=true, die spezifische Aktionen auslösen, anstatt den Seiteninhalt grundlegend zu verändern. Solche Parameter verdoppeln oder verdreifachen den URL-Raum, wodurch der Crawler Ressourcen für im Wesentlichen identische Inhalte verschwendet. Diese werden oft durch CMS-Plugins generiert.

Auswirkungen auf die Webseitenleistung

Irrelevante Parameter, die etwa 10 Prozent der Herausforderungen ausmachten, umfassen Tracking-Parameter wie UTM-Codes oder Session-IDs. Googlebot hat Mühe zu erkennen, ob diese zufälligen Zeichenketten den Seiteninhalt ändern, und kann daher dazu neigen, sie aggressiv zu crawlen, um deren Wert zu überprüfen. Dies kann ebenfalls zu einer unnötigen Belastung der Server führen.

Gary Illyes wies darauf hin, dass die Crawler, sobald sie eine Reihe von URLs entdeckt haben, nur schwer beurteilen können, ob dieser URL-Bereich relevant ist, ohne einen grossen Teil davon gecrawlt zu haben. Dies kann zu Endlosschleifen und einer Überlastung der Serverressourcen führen, was sich negativ auf die Performance der betroffenen Webseiten auswirkt.