Om de snelste en beste ervaring voor al onze klanten te bieden, hanteren wij een specifieke werkwijze voor de samenwerking met bots. Bots, zoals die van bekende SEO-tools als Ahrefs en Semrush, zijn belangrijk voor jou als klant, maar kunnen door hun manier van werken je website flink vertragen.
Daarom hebben wij bepaald dat al deze bots jouw site mogen crawlen, maar wel op een tempo waarmee ze geen vertraging veroorzaken op jouw site. Een juiste crawl rate is hierbij essentieel om je website optimaal te laten functioneren zonder overbelasting door bots.
Wij adviseren een crawl delay van 30 seconden. Dit betekent 2 verzoeken per minuut, 120 verzoeken per uur en 2880 verzoeken per 24 uur.
Bot geeft melding "429 too many requests"
Wij meten hoe vaak bots zoals Ahrefs en Semrush jouw website bezoeken en als dit te vaak is in een korte tijd dan sturen wij de http status code "429 too many requests" terug naar de bot. Wij raden het aan om de website niet vaker dan 2 keer per minuut te laten bezoeken door bots. Hoe je dit kunt instellen verschilt nogal per bot, maar hieronder hebben wij linkjes naar de handleiding neergezet voor enkele veel gebruikte SEO bots.
- Ahrefs
- ContentKing:
- Semrush
- Screaming Frog
Mocht je er niet helemaal uit komen kun je onze supportdesk altijd bereiken per mail support@cloud86.io en op werkdagen van 10:00 tot 16:00 kun je ons ook bereiken per telefoon en via de chat in Mijn Cloud86 omgeving.