De crawl rate limiter tool in Search Console wordt stopgezet op 8 januari 2024.
Deze tool is meer dan een decennium beschikbaar geweest, maar met de verbeteringen die we hebben doorgevoerd in onze crawling logica en andere tools die beschikbaar zijn voor uitgevers, is het nut ervan afgenomen.
Googlebot reageert op hoe de site–of specifieker de server die de site afhandelt– reageert op HTTP-verzoeken van Googlebot.
Bijvoorbeeld, als de server consistent HTTP 500-statuscodes retourneert voor een reeks URL’s, zal Googlebot automatisch en bijna onmiddellijk de crawling vertragen.
Op dezelfde manier vertraagt Googlebot automatisch als de responstijd voor verzoeken aanzienlijk langer wordt. Als je ongewoon zware crawling ervaart die je site niet zelf aankan, raadpleeg dan dit hulpartikel.
In tegenstelling tot de rate limiter tool, had deze een veel langzamer effect; het kon in feite meer dan een dag duren voordat de nieuwe limieten op crawling werden toegepast.
Gelukkig hoefden site-eigenaren zelden gebruik te maken van de tool, en degenen die dat wel deden, stelden in veel gevallen de crawlsnelheid in op het minimale.
Met de stopzetting van de crawl limiter tool, stellen we ook de minimale crawlsnelheid in op een lager tarief, vergelijkbaar met de oude crawl rate limieten.
Dit betekent dat we effectief de instellingen blijven eren die sommige site-eigenaren in het verleden hebben ingesteld als de zoekinteresse laag is, en onze crawlers de bandbreedte van de site niet verspillen.
Vanwege de vooruitgang in de geautomatiseerde afhandeling van de crawl rate en in de geest van het eenvoudig houden voor gebruikers, zullen we deze tool in Search Console stopzetten.
We behouden het Googlebot-rapportformulier voor het melden van ongebruikelijke Googlebot-activiteiten en voor noodgevallen, maar houd er rekening mee dat de snelste manier om de crawl rate te verminderen is om Googlebot te instrueren via serverreacties, zoals gedetailleerd in onze documentatie.
Lees het artikel op het blog van Google.
