Wat zijn AI-crawlers?
AI-crawlers zijn geautomatiseerde bots waarmee AI-bedrijven pagina's van het web ophalen. Sommige verzamelen content om taalmodellen te trainen. Andere bouwen de zoekindexen waar AI-assistenten uit putten als ze antwoord geven, of halen één pagina op omdat een gebruiker ernaar vroeg.
Elke crawler maakt zich bekend met een user agent. Bekende voorbeelden zijn GPTBot (OpenAI, training), OAI-SearchBot (zoeken in ChatGPT), ChatGPT-User (bezoeken die ChatGPT-gebruikers in gang zetten), ClaudeBot (Anthropic), PerplexityBot en Perplexity-User, CCBot (Common Crawl, waarvan het open archief veel wordt gebruikt om modellen te trainen), Bytespider (ByteDance) en Meta-ExternalAgent (Meta). Google werkt anders: het crawlt met zijn bestaande crawlers en biedt een apart robots.txt-token, Google-Extended, om het gebruik voor Gemini te regelen.
Waarom AI-crawlers belangrijk zijn voor AI-zichtbaarheid
Crawlen gaat vooraf aan citeren. Kunnen de crawlers achter AI-zoekfuncties je pagina's niet bereiken of lezen, dan hebben assistenten die realtime opzoeken minder eigen content van je om mee te werken, en leunen ze meer op wat anderen over je zeggen. Trainingscrawlers bepalen op hun beurt mee wat toekomstige modellen over je merk en categorie weten.
Ook de bouw van je site telt. Veel AI-crawlers lezen de ruwe HTML en voeren geen JavaScript uit, dus content die pas verschijnt nadat scripts draaien, kan voor hen onzichtbaar zijn. Daarmee is server-side rendering een praktisch punt voor AI-zichtbaarheid, niet alleen iets voor developers.
Zo beheer je AI-crawlers
Bepaal welke bots je wilt: zoekcrawlers helpen je in AI-antwoorden te verschijnen, trainingscrawlers beïnvloeden toekomstige modellen.
Leg je regels per user agent vast in robots.txt, en check of je CDN, firewall of botbescherming de crawlers die je wilt niet blokkeert.
Lever belangrijke content, prijzen en gestructureerde data in de eerste HTML-respons.
Bekijk je serverlogs om te zien welke bots langskomen, welke pagina's ze opvragen en welke verzoeken mislukken.
Controleer of verkeer dat zich als bekende crawler voordoet echt van dat bedrijf komt, want user agents zijn makkelijk na te bootsen.
Analyticstools op basis van JavaScript zien geen bots, dus je moet dit aan de serverkant meten. Crawler Analytics van Trackbase laat zien welke AI-crawlers je site bezoeken en wat ze lezen.
Voorbeelden van AI-crawlers
Een B2B-leverancier van salarissoftware ziet in zijn logs dat OAI-SearchBot en PerplexityBot elke week de prijspagina bezoeken, terwijl de nieuwe vergelijkingsgidsen nog niet zijn gecrawld.
Een Nederlandse fietsenwebshop ontdekt dat zijn botbescherming ClaudeBot en PerplexityBot blokkeerde, en maakt een uitzondering voor de crawlers die hij wil toelaten.
Een uitgever blokkeert trainingscrawlers zoals GPTBot en CCBot, maar laat zoekcrawlers toe zodat zijn artikelen in AI-antwoorden geciteerd kunnen worden.
Een SaaS-bedrijf ziet het aantal ChatGPT-User-verzoeken op één helpartikel pieken, een teken dat gebruikers ChatGPT precies over dat onderwerp vragen stellen.
Veelgestelde vragen
Wat is het verschil tussen GPTBot en OAI-SearchBot?
Beide zijn van OpenAI, maar ze hebben een ander doel. GPTBot verzamelt content die gebruikt kan worden om de modellen van OpenAI te trainen. OAI-SearchBot vindt pagina's voor de zoekfuncties van ChatGPT, en volgens OpenAI worden sites die deze bot blokkeren niet getoond in de zoekantwoorden van ChatGPT. Met aparte regels in robots.txt kun je de ene toestaan en de andere blokkeren.
Voeren AI-crawlers JavaScript uit?
Veel niet. Ze lezen de HTML die je server teruggeeft en missen content die JavaScript later in de browser toevoegt. Googlebot rendert JavaScript wel, maar ga er niet van uit dat AI-crawlers zich net zo gedragen. Zet belangrijke content, productdetails en gestructureerde data in de eerste HTML, bijvoorbeeld met server-side rendering of statische pagina's.
Hoe zie je welke AI-crawlers je website bezoeken?
Bekijk je server- of CDN-logs en filter op de user agents van bekende AI-crawlers, zoals GPTBot, OAI-SearchBot, ClaudeBot en PerplexityBot. Gewone webanalytics mist dit verkeer, omdat bots de trackingscripts niet uitvoeren. Tools voor crawler-analytics, zoals die van Trackbase, laten zien welke bots langskomen en welke pagina's ze lezen.