So gehen wir mit Bots und Crawlern um

Kurz gesagt

  • Manche Unternehmen nutzen automatisierte Programme, sogenannte Bots, um Websites zu besuchen. Beispiele sind SEO-Tools wie Ahrefs und Semrush sowie KI-Dienste wie ChatGPT und Claude.
  • Bots können in kurzer Zeit sehr viele Seiten aufrufen. Dadurch kann deine Website langsamer werden.
  • Deshalb dürfen diese Bots maximal 10 Seiten pro Minute aufrufen. Überschreitet ein Bot dieses Limit, wird er für 5 Minuten pausiert.
  • Für deine Besucher hat das keine Auswirkungen. Auch Google und Bing sind von dieser Begrenzung ausgenommen. Deine Platzierungen in den Suchergebnissen bleiben daher unverändert.

Warum machen wir das?

Ein normaler Besucher öffnet eine Seite, liest die Inhalte und klickt anschließend weiter. Bots hingegen können hunderte Seiten pro Minute aufrufen. Das erzeugt eine hohe Serverlast und kann dazu führen, dass deine Website für echte Besucher langsamer wird.Durch die Begrenzung der Bot-Geschwindigkeit bleibt deine Website schnell und zuverlässig erreichbar.

Bots können deine Website weiterhin besuchen, müssen dies jedoch in einem angemessenen Tempo tun.


Wie genau sieht das Limit aus?

  • Jeder Bot darf maximal 10 Seiten pro Minute aufrufen.
  • Jeder Bot erhält ein eigenes Limit. Ein besonders aktiver Bot beeinflusst andere Bots nicht.
  • Bilder, CSS-Dateien, JavaScript-Dateien, Schriftarten und andere unterstützende Dateien werden nicht mitgezählt. Es zählen ausschließlich Seitenaufrufe.
  • Wird das Limit überschritten, muss der Bot 5 Minuten warten, bevor er weitere Seiten abrufen kann.

Du nutzt ChatGPT, Claude oder einen anderen KI-Assistenten?

Wenn du einem KI-Assistenten Fragen zu deiner Website stellst, ruft dieser deine Seiten automatisch ab. Dafür gelten dieselben Limits.

  • Frage möglichst gezielt nach einzelnen Seiten. 
    Eine Anfrage wie „Prüfe meine gesamte Website“ erzeugt viele Seitenaufrufe gleichzeitig. Besser ist beispielsweise: „Sieh dir example.com/kontakt an“
  • Das Limit wird gemeinsam genutzt.
    Wenn mehrere Personen gleichzeitig mit ChatGPT oder einem anderen Assistenten auf dieselbe Website zugreifen, werden alle Aufrufe zusammengerechnet.
  • Die Geschwindigkeit lässt sich nicht per Anweisung reduzieren.
    Hinweise wie „Bitte arbeite langsamer“ beeinflussen nicht, wie schnell der Assistent Seiten aufruft.
  • Der Assistent kann deine Website nicht öffnen?
    In diesem Fall wurde wahrscheinlich das Limit erreicht. Warte eine Weile und versuche es erneut. Frage dabei möglichst nur nach wenigen Seiten. In manchen Fällen kann es bis zu 30 Minuten dauern, bis der Zugriff wieder möglich ist.
    Wichtig: Eine Sicherheitsprüfung oder ein Captcha in deinem eigenen Browser löst das Problem nicht, da der Assistent von seinen eigenen Servern auf die Website zugreift.
    Sollte das Problem nach 30 Minuten weiterhin bestehen, wende dich bitte an unser Support-Team.

Du nutzt ein SEO-Tool auf deinem eigenen Computer?

Programme wie Screaming Frog laufen direkt auf deinem Computer. Wenn sie zu viele Seiten in kurzer Zeit abrufen, kann unser Sicherheitssystem deine Internetverbindung vorübergehend als auffällig einstufen.In diesem Fall musst du für bis zu 30 Minuten zunächst eine Sicherheitsprüfung absolvieren, bevor du deine Website aufrufen kannst.

Stelle die Geschwindigkeit deines SEO-Tools daher immer vor dem Start entsprechend ein.Wir empfehlen maximal 8 Seiten pro Minute.


Für technische Nutzer

Was der Bot sieht

Ein Bot, der das Limit überschreitet, erhält für 5 Minuten den HTTP-Statuscode 429 Too Many Requests mit dem Hinweis, es nach 300 Sekunden erneut zu versuchen.

Sendet eine IP-Adresse (die Internetadresse eines Computers) nach Erhalt der 429 weiterhin Anfragen, 10-mal innerhalb einer Stunde, setzt unsere Sicherheitssoftware Imunify360 diese IP-Adresse für 30 Minuten auf eine Greylist. Besucher von einer IP-Adresse auf der Greylist müssen zuerst eine Prüfung absolvieren, zum Beispiel ein Captcha, bevor sie die Website öffnen können.

Applebot, GPTBot und AhrefsBot stehen auf der Whitelist von Imunify und erhalten nur die 429. KI-Assistenten, die Seiten für einen Nutzer abrufen, wie ChatGPT-User und Claude-User, können dagegen auf die Greylist kommen.

Welche Bots werden begrenzt?

Bots auf unserer Crawler-Liste, zum Beispiel Meta, GPTBot, Applebot, AhrefsBot, ChatGPT-User und Claude-User. Googlebot und Bingbot sind vollständig ausgenommen. Dateien wie Bilder, CSS, JavaScript, Schriftarten, Sitemaps, robots.txt und ai.txt zählen nie mit und werden nie blockiert.

Bots mit robots.txt bremsen

Du kannst Bots über die Datei robots.txt darum bitten, langsamer zu crawlen.. Mit einer Verzögerung von 8 Sekunden bleibt der Bot unter dem Limit.

User-agent: AhrefsBot
Crawl-delay: 8

Bitte beachte, dass nicht alle Bots diese Einstellung berücksichtigen. Bei SEO-Tools solltest du die Geschwindigkeit daher zusätzlich direkt in den Einstellungen des jeweiligen Tools begrenzen.

Geschwindigkeitseinstellungen in gängigen SEO-Tools


Hilfe benötigt?

Erscheint beim Aufruf deiner Website regelmäßig eine Sicherheitsprüfung oder meldet dein SEO-Tool weiterhin Fehler, wende dich bitte an unser Support-Team. Wir helfen dir gern weiter.