Google betont Wichtigkeit von HTTP-Caching für effizientes Crawling

Google hat in einer aktuellen Mitteilung die Relevanz von HTTP-Caching für die Optimierung der Crawling-Prozesse betont. Das Unternehmen weist darauf hin, dass gut implementiertes Caching nicht nur die Ladezeiten für Nutzer beschleunigt, sondern auch zur Schonung von Rechen- und Bandbreitenressourcen beiträgt.

Rückgang der Cache-Nutzung festgestellt

Google stellt fest, dass die Effizienz der Caching-Mechanismen in den letzten Jahren abgenommen hat. Während vor zehn Jahren noch etwa 0.026 Prozent der Abrufe von lokalen Caches bedient werden konnten, liegt dieser Wert heute bei rund 0.017 Prozent. Dies deutet darauf hin, dass ein erhebliches Optimierungspotenzial ungenutzt bleibt.

Empfehlungen für Webmaster

Für Websites mit umfangreichen Inhalten, die sich selten ändern, empfiehlt Google, lokale Caching-Optionen zu aktivieren. Die Crawling-Infrastruktur von Google unterstützt heuristisches HTTP-Caching gemäss dem HTTP-Standard. Dabei kommen insbesondere die Header ETag in Kombination mit If-None-Match sowie Last-Modified mit If-Modified-Since zum Einsatz.

Google rät ausdrücklich zur Verwendung von ETag, da dieser Header als weniger fehleranfällig gilt. Idealerweise sollten beide Header-Paare implementiert werden, um die bestmögliche Caching-Leistung zu erzielen. Webmaster sollten eine Cache-Aktualisierung bei signifikanten Inhaltsänderungen anstossen, während kleinere Anpassungen wie die Aktualisierung des Copyright-Datums in der Regel keine sofortige Cache-Invalidierung erfordern.