Hoe gaan we om met bots en crawlers

In het kort

  • Sommige bedrijven gebruiken automatische programma’s, bots, om websites te bezoeken. Denk aan SEO-tools zoals Ahrefs en Semrush, en AI-diensten zoals ChatGPT en Claude.
  • Bots kunnen heel snel veel pagina’s bezoeken. Daardoor kan je website traag worden.
  • Daarom mogen deze bots maximaal 10 pagina’s per minuut bezoeken. Gaat een bot sneller, dan moet hij 5 minuten wachten.
  • Je bezoekers merken hier niets van. Google en Bing worden ook niet beperkt, dus dit heeft geen invloed op hoe je website in de zoekresultaten staat.

Waarom doen we dit?

Een gewone bezoeker opent een pagina, leest die en klikt dan door naar de volgende. Een bot kan honderden pagina’s per minuut openen. Dat kost de server veel werk, en je website wordt trager voor je echte bezoekers. Door bots af te remmen, houden we je website snel.

Bots kunnen je website nog steeds bezoeken. Ze moeten het alleen wat rustiger aan doen.


Wat is de limiet precies?

  • Elke bot mag maximaal 10 pagina’s van je website per minuut bezoeken.
  • Elke bot heeft zijn eigen limiet. Is de ene bot druk bezig, dan hebben andere bots daar geen last van.
  • Afbeeldingen, opmaak en andere ondersteunende bestanden tellen niet mee. Alleen pagina’s tellen.
  • Gaat een bot over de limiet, dan moet hij 5 minuten wachten. Daarna kan hij verder.

Gebruik je ChatGPT, Claude of een andere AI-assistent?

Als je een AI-assistent iets vraagt over je website, bezoekt die je pagina’s voor je. Daarvoor geldt dezelfde limiet.

  • Vraag naar specifieke pagina’s. “Controleer mijn hele website” laat de assistent veel pagina’s tegelijk bezoeken. “Bekijk example.com/contact” werkt beter.
  • De limiet wordt gedeeld. Vragen meerdere mensen tegelijk iets aan ChatGPT over je website, dan tellen al die bezoeken samen.
  • Je kunt de assistent niet vragen om langzamer te gaan. Die instructie verandert niets aan hoe snel hij pagina’s bezoekt.
  • Zegt de assistent dat hij je website niet kan openen? Waarschijnlijk heeft hij de limiet bereikt. Probeer het later opnieuw en vraag naar minder pagina’s. Soms duurt dit tot 30 minuten. Een controle in je eigen browser oplossen helpt niet, want de assistent bezoekt je website vanaf zijn eigen servers. Werkt het na 30 minuten nog steeds niet? Neem dan contact op met ons supportteam.

Gebruik je een SEO-tool op je eigen computer?

Tools zoals Screaming Frog draaien op je eigen computer. Gaan ze te snel en blijven ze doorgaan, dan kan ons beveiligingssysteem je internetverbinding markeren. Je moet dan 30 minuten lang eerst een controle doorlopen voordat je je website kunt openen.

Zet je tool altijd op een lagere snelheid voordat je begint. We raden maximaal 8 pagina’s per minuut aan. Hieronder vind je instructies voor populaire tools.


Voor technische gebruikers

Wat de bot te zien krijgt

Een bot die over de limiet gaat, krijgt 5 minuten lang de HTTP-status '429 Too Many Requests', met het verzoek het na 300 seconden opnieuw te proberen.

Blijft één IP-adres (het internetadres van een computer) verzoeken sturen nadat het de 429 heeft gekregen, 10 keer binnen een uur, dan zet onze beveiligingssoftware Imunify360 dat IP-adres 30 minuten op een greylist. Bezoekers vanaf een IP-adres op de greylist moeten eerst een controle doorlopen, zoals een captcha, voordat ze de website kunnen openen.

Applebot, GPTBot en AhrefsBot staan op de whitelist van Imunify en krijgen alleen de 429. AI-assistenten die pagina’s ophalen voor een gebruiker, zoals ChatGPT-User en Claude-User, kunnen wel op de greylist komen.

Welke bots worden beperkt?

Bots op onze crawlerlijst, zoals Meta, GPTBot, Applebot, AhrefsBot, ChatGPT-User en Claude-User. Googlebot en Bingbot zijn volledig uitgezonderd. Bestanden zoals afbeeldingen, CSS, JavaScript, fonts, sitemaps, robots.txt en ai.txt tellen nooit mee en worden nooit geblokkeerd.

Bots afremmen met robots.txt

Je kunt bots in je robots.txt-bestand vragen om langzamer te gaan. Een vertraging van 8 seconden blijft onder de limiet:

User-agent: AhrefsBot
Crawl-delay: 8

Niet elke bot houdt zich aan deze regel. Pas bij SEO-tools de snelheid aan in de instellingen van de tool zelf.

Snelheidsinstellingen in populaire SEO-tools


Hulp nodig?

Krijg je steeds een controle te zien als je je website opent, of blijft je SEO-tool fouten geven? Neem dan contact op met ons supportteam.