Per garantire la migliore esperienza possibile e le massime prestazioni a tutta la nostra clientela, gestiamo i bot in modo specifico. I bot, come quelli dei noti strumenti SEO Ahrefs e Semrush, sono sicuramente importanti, ma possono rallentare in modo significativo il tuo sito web.
Per questo motivo abbiamo stabilito che tutti questi bot possono effettuare il crawl del tuo sito, ma con una frequenza che non comprometta la velocità del sito. Un “crawl rate” misurato è essenziale per mantenere il tuo sito performante senza essere sovraccaricato dai bot.
Ti consigliamo un crawl delay di 30 secondi: ciò equivale a 2 richieste al minuto, 120 richieste all’ora e 2880 richieste ogni 24 ore.
Il bot restituisce il messaggio “429 too many requests”
Monitoriamo con quale frequenza bot come Ahrefs e Semrush visitano il tuo sito web. Se il numero di visite è troppo elevato rispetto al breve intervallo di tempo, inviamo al bot lo status code HTTP “429 too many requests”. Ti consigliamo di non permettere ai bot di visitare il tuo sito più di 2 volte al minuto. Come modificare queste impostazioni dipende dal singolo bot. Di seguito trovi i link alle guide dei bot SEO più utilizzati:
- Ahrefs
- ContentKing:
- Semrush
- Screaming Frog
Se hai bisogno di aiuto, puoi sempre contattare il nostro supporto via email all’indirizzo support@cloud86.io. Nei giorni feriali, dalle 9:00 alle 16:00 (CET), siamo disponibili anche telefonicamente e tramite la chat localizzata nella dashboard Il mio Cloud86.