Wat is AI-crawleranalyse?
AI-crawleranalyse (AI crawler analytics) is het meten van welke AI-bots je website bezoeken, welke pagina's ze opvragen, hoe vaak ze terugkomen en of ze kunnen lezen wat ze vinden. Zo maak je met serverdata zichtbaar hoe AI-systemen je content gebruiken.
Het gaat om AI-crawlers zoals GPTBot, OAI-SearchBot en ChatGPT-User van OpenAI, ClaudeBot van Anthropic, PerplexityBot van Perplexity en CCBot van Common Crawl. Sommige verzamelen trainingsdata, andere halen pagina's realtime op om een vraag te beantwoorden, en dat verschil bepaalt hoe je ermee omgaat.
Standaard analytics-tools missen deze activiteit. GA4 werkt met een JavaScript-tag die veel AI-crawlers nooit uitvoeren, en filtert bekende bots bovendien weg. AI-crawleranalyse werkt daarom met serverlogs, CDN-data of een plugin aan de serverkant.
Waarom AI-crawleranalyse belangrijk is
Crawlen gaat vóór citeren. Bereiken AI-crawlers een pagina nooit, of zien ze alleen een lege huls omdat de inhoud via JavaScript laadt, dan wordt die pagina waarschijnlijk niet als bron gebruikt in AI-antwoorden. Server-side rendering is dan vaak de oplossing. Crawleractiviteit is zo een vooruitlopende indicator: veranderingen hier zie je vaak weken later terug in je citatiepercentage.
Je ziet ook of je robots.txt-regels en firewallinstellingen doen wat je wilt. Sites blokkeren AI-bots soms per ongeluk via een CDN-instelling of een te brede regel, of laten juist bots toe die ze wilden weren.
Zo gebruik je AI-crawleranalyse
Verzamel data aan de serverkant: ruwe toegangslogs, CDN-logs of een plugin die botverzoeken vastlegt.
Herken AI-crawlers aan hun user agent en controleer belangrijke bots via de IP-reeksen die verschillende AI-bedrijven publiceren, want een user agent is makkelijk te vervalsen.
Bekijk welke pagina's ze het vaakst opvragen en welke belangrijke pagina's ze nooit bezoeken.
Zoek naar fouten, redirects en geblokkeerde verzoeken die crawlers tegenhouden.
Vergelijk crawlactiviteit met je citatiedata om te zien welke gecrawlde pagina's echt worden gebruikt.
Crawler Analytics van Trackbase laat zien welke AI-crawlers je site bezoeken en wat ze lezen, via een WordPress-plugin of een Cloudflare-integratie.
Voorbeelden van AI-crawleranalyse
Een B2B-leverancier van salarissoftware ontdekt dat OAI-SearchBot de prijspagina nooit bereikt door een redirectlus, en lost dat binnen een dag op.
Een Nederlandse fietsenwebshop ziet dat ClaudeBot en PerplexityBot oude blogposts crawlen, maar productpagina's overslaan die alleen via een JavaScript-menu gelinkt zijn.
Een uitgever ontdekt dat een firewallregel alle AI-crawlers blokkeert, ook de zoekbots die hij juist wil toelaten, en past de regel per bot aan.
Een SaaS-bedrijf ziet het aantal GPTBot-bezoeken aan de nieuwe documentatie stijgen nadat die pagina's vanuit de hoofdnavigatie gelinkt zijn.
Veelgestelde vragen
Waarom zie je AI-crawlers niet in Google Analytics?
GA4 registreert bezoeken via een JavaScript-tag die in de browser van de bezoeker draait. Veel AI-crawlers downloaden alleen de ruwe HTML en voeren dat script nooit uit, en GA4 filtert bekend botverkeer bovendien weg. Om AI-crawlers te zien heb je serverdata nodig, zoals toegangslogs, CDN-logs of een plugin die verzoeken vastlegt voordat er JavaScript aan te pas komt.
Wat is het verschil tussen trainingscrawlers en zoekcrawlers?
Trainingscrawlers, zoals GPTBot en CCBot, verzamelen pagina's die kunnen worden gebruikt om toekomstige modellen te trainen. Zoekcrawlers, zoals OAI-SearchBot en PerplexityBot, halen pagina's op om vragen te beantwoorden of een zoekindex actueel te houden. Agents als ChatGPT-User bezoeken een pagina wanneer een gebruiker ernaar vraagt. Blokkeer je één type, dan blokkeer je de andere niet automatisch.
Hoe vaak bezoeken AI-crawlers een website?
Dat verschilt sterk per crawler en hangt af van de omvang van je site, je autoriteit en hoe vaak je content verandert. Sommige bots komen dagelijks terug naar populaire pagina's, andere komen zelden of alleen als een gebruiker naar een pagina vraagt. Kijk vooral naar de trend: meer bezoeken aan belangrijke pagina's na een update is een goed teken, een plotselinge daling wijst vaak op een technische blokkade.