Let op: de LiteSpeed Crawler is momenteel alleen beschikbaar op een Managed VPS.
Binnen dit artikel leggen wij uit hoe je de LiteSpeed crawler kan aanzetten. Met de Litespeed crawler zorg je ervoor dat de cache wordt ge-preload waardoor er altijd caching is voor je website en deze stukken sneller in laad.
Stap 1. Installeer de LiteSpeed caching plug-in
Lees hier hoe je de LiteSpeed Cache Plugin installeert.
Stap 2. Open de LiteSpeed crawler pagina
Binnen het overzicht van de crawler pagina zie je vier gekleurde balkjes onder de kop 'Status'
Bij het lopen van crawler houden de kleuren het volgende in.
- Grijs: grootte van de sitemap /aantal pagina’s.
- Groen: Was al cache op de desbetreffende pagina wordt overgeslagen.
- Blauw: Geen cache op pagina, caching gemaakt via crawler.
- Rood: Geen cache kunnen aanmaken op deze pagina.
Stap 3. Instellen van de sitemap
Hiermee weet de LiteSpeed crawler welke pagina’s er in je website aanwezig en welke dus moeten worden voorzien van caching. We gaan dit instellen onder op tabblad [6] ‘Sitemap Settings’.
Het is belangrijk dat er een valide sitemap aanwezig is, denk hierbij aan bijvoorbeeld de plug-in Yoast SEO.
Stap 4. Inladen van de sitemap.
Dit doen we op tabblad [2] ‘Map’, klik op deze pagina op de knop ‘Refresh Crawler Map’.
Hierna zie je of er een valide sitemap is met inhoud.
Stap 5. Het instellen van de crawler.
Op tabblad [4] ‘General Settings’ gaan we de crawler instellen, dit is een belangrijke stap! Wordt dit namelijk niet goed ingesteld, dan gaat je crawler functie niet goed werken. Op deze pagina staan een aantal factoren, onder andere:
- hoe vaak moet de crawler draaien?
- hoe lang tussen de zogeheten run’s?
- wanneer moet de de crawler volledig opnieuw beginnen om eventuele nieuwe pagina’s + producten mee te nemen in de cache?
Als eerste gaan we de paramaters instellen, dit is altijd bijschalen gezien we van te voren nog niet weten hoe lang het duurt voordat de website ‘volledig’ is voorzien van cache. Hier spelen meerdere factoren, onder andere:
- het betreffende aantal pagina’s.
- de server load.
- de efficiëntie van website.
Het instellen:
- De ‘Run Duration’, oftewel hoe lang de crawler loopt per keer zetten we op 300 seconden (=5 minuten).
- De ‘Interval Between Runs’ zetten we ook op 300 seconden.
- Vervolgens passen we de ‘Server Load Limit’ aan naar 3.
- Voor nu laten we de rest eerst staan.
Stap 6. De eerste test run.
We gaan nu de eerste keer handmatig de crawler starten om te kijken hoelang de crawler nodig heeft om alle pagina’s te voorzien van cache.
- Dit doen we op tabblad [1] ‘Summary’
- Klik op ‘Manually run’
In dit voorbeeld heeft de website 1571 pagina’s;
Onder het kopje ‘Watch Crawler Status’ kan je live zien hoe snel en waar de crawler zich bevind.
Zodra je op de knop ‘Manually Run’ druk zie je de status van de crawler.
Hierin zijn een aantal dingen belangrijk, als eerste de ‘size’ het aantal pagina’s binnen de sitemap en de position, waar de crawler zich op dit moment bevind. De crawler gaat nu in momenten van 5 minuten om de 5 minuten de site voorzien van caching.
We zien nu dat de crawler is afgelopen, de status die aangegeven wordt is ‘end’.
Nu gaan we kijken hoelang de crawler er over heeft gedaan om de website volledig te hebben voorzien van caching, in dit geval is dit 15501 seconden (260 minuten). Nu we dit weten, kunnen we gaan instellen om de hoeveel tijd de crawler volledig opnieuw moet beginnen met cachen.
Hiervoor gaan we naar de tabblad [4] ‘General Settings’ , we gaan nu de ‘Crawl Interval’ aanpassen. Zoals hier boven opgemerkt heeft de crawler 15501 seconden nodig gehad voor het volledig cachen, we nemen hier wat marge in en stellen in dit geval de interval in op 18000 seconden (300 minuten).
Stap 7. De crawler aanzetten.
Nu we hebben uitgevonden hoe vaak/hoelang de crawler moet/kan draaien kunnen we de crawler echt aan zetten, zodat deze automatisch gaat draaien. Dit doen we op tabblad [4] ‘General Settings’ door de crawler simpelweg op ‘On’ te zetten.
