Um allen unseren Kunden die schnellstmögliche und beste Erfahrung zu bieten, verfolgen wir eine spezifische Vorgehensweise in der Zusammenarbeit mit Bots. Bots – wie jene bekannter SEO-Tools wie Ahrefs und Semrush – sind für dich als Kunden zwar wichtig, können jedoch durch ihre Arbeitsweise deine Website erheblich verlangsamen.
Daher haben wir festgelegt, dass all diese Bots deine Website weiterhin crawlen dürfen, jedoch nur mit einer Geschwindigkeit, die keine Verlangsamung deiner Seite verursacht. Eine angemessene Crawl-Rate ist entscheidend, um deine Website optimal zu betreiben, ohne durch Bots überlastet zu werden.
Wir empfehlen eine Crawl-Verzögerung von 30 Sekunden. Das entspricht 2 Anfragen pro Minute, 120 Anfragen pro Stunde und 2880 Anfragen innerhalb von 24 Stunden.
Bot zeigt die Meldung „429 too many requests“
Wir messen, wie häufig Bots wie Ahrefs und Semrush deine Website besuchen. Wenn dies in kurzer Zeit zu oft geschieht, senden wir den HTTP-Statuscode „429 Too Many Requests“ an den Bot zurück. Wir empfehlen, die Website nicht häufiger als 2 Mal pro Minute von Bots aufrufen zu lassen. Wie man dies einstellt, variiert je nach Bot. Nachfolgend haben wir Links zu den Anleitungen einiger häufig genutzter SEO-Bots zusammengestellt.
- Ahrefs
- ContentKing:
- Semrush
- Screaming Frog