Wat is robots.txt?
robots.txt is een tekstbestand in de root van je website (jouwsite.nl/robots.txt) dat crawlers vertelt welke delen van je site ze wel en niet mogen ophalen. De regels zijn gegroepeerd per user agent, de naam waarmee een crawler zich bekendmaakt, en gebruiken eenvoudige instructies zoals Disallow en Allow. Het bestand kan ook naar je XML-sitemap verwijzen.
Het Robots Exclusion Protocol bestaat sinds 1994 en werd in 2022 door de IETF vastgelegd als RFC 9309. Het werkt op basis van vertrouwen: betrouwbare crawlers volgen het, maar het is een verzoek, geen beveiliging. Het regelt bovendien crawlen, niet indexeren. Een geblokkeerde URL kan dus nog in zoekresultaten verschijnen als andere pagina's ernaar linken. Verwar het niet met llms.txt, dat AI-systemen naar content wijst in plaats van toegang te regelen.
Hoe robots.txt AI-crawlers beïnvloedt
Grote AI-aanbieders documenteren de user agents van hun AI-crawlers en hoe die bots met robots.txt omgaan. Daardoor is dit bestand de belangrijkste plek om te bepalen welke AI-systemen je content mogen lezen. Belangrijk is dat verschillende bots verschillende taken hebben. OpenAI gebruikt bijvoorbeeld GPTBot om trainingsdata te verzamelen en OAI-SearchBot om pagina's te vinden voor zoeken in ChatGPT. Blokkeer je GPTBot, dan geef je aan dat je content niet gebruikt mag worden om de modellen van OpenAI te trainen. Volgens OpenAI worden sites die OAI-SearchBot blokkeren niet getoond in de zoekantwoorden van ChatGPT.
Sommige tokens regelen alleen het gebruik, niet het crawlen. Google-Extended bepaalt of Google je content mag gebruiken voor Gemini, zonder effect op Google Search. En volgens OpenAI gelden robots.txt-regels mogelijk niet voor ChatGPT-User, omdat een gebruiker die bezoeken zelf in gang zet.
Zo stel je robots.txt in voor AI-crawlers
Kies per type bot: trainingscrawlers, zoekcrawlers en door gebruikers gestarte fetchers dienen verschillende doelen.
Wil je gevonden worden in AI-antwoorden, blokkeer dan geen zoekcrawlers zoals OAI-SearchBot en PerplexityBot.
Maak een aparte User-agent-groep voor elke bot die je anders wilt behandelen, en test het bestand na elke wijziging.
Controleer dat geen brede regel, zoals Disallow: / voor alle user agents, AI-crawlers per ongeluk blokkeert, en dat je CDN of firewall dat ook niet doet.
Loop het bestand regelmatig na, want er verschijnen steeds nieuwe AI-crawlers en aanbieders passen hun user agents aan.
robots.txt geeft alleen je bedoeling aan. Welke bots echt langskomen en wat ze lezen, zie je in je serverlogs of in Crawler Analytics van Trackbase.
Voorbeelden van robots.txt
Een nieuwsuitgever blokkeert GPTBot en CCBot om zijn artikelen buiten trainingsdata te houden, maar laat OAI-SearchBot toe zodat zijn verhalen nog in ChatGPT-zoekresultaten geciteerd kunnen worden.
Een Nederlandse fietsenwebshop sluit winkelwagen-, checkout- en filter-URL's uit voor alle crawlers, maar houdt product- en categoriepagina's open.
Een B2B-softwareleverancier ontdekt na een relaunch dat een achtergebleven "Disallow: /" van de testomgeving alle crawlers blokkeerde, en herstelt dat dezelfde dag.
Een SaaS-bedrijf laat alle grote AI-crawlers toe en voegt een Sitemap-regel toe, zodat crawlers nieuwe documentatiepagina's kunnen vinden.
Veelgestelde vragen
Moet je AI-crawlers blokkeren in robots.txt?
Alleen als je daar een duidelijke reden voor hebt. Blokkeer je trainingscrawlers zoals GPTBot, dan blijft je content buiten toekomstige modeltraining. Blokkeer je zoekcrawlers zoals OAI-SearchBot of PerplexityBot, dan kunnen je pagina's uit AI-antwoorden verdwijnen. Merken die AI-zichtbaarheid willen, laten zoekcrawlers meestal toe en maken een bewuste keuze over trainingscrawlers.
Houdt robots.txt je content uit AI-antwoorden?
Niet helemaal. Het werkt alleen voor crawlers die het respecteren, en alleen voor toekomstig crawlen. AI-modellen kunnen al eerder over je geleerd hebben, en ze leren ook van andere sites die je noemen. Bovendien zeggen sommige aanbieders dat robots.txt mogelijk niet geldt voor bezoeken die een gebruiker zelf start. robots.txt beperkt dus de toegang tot je eigen pagina's, niet wat AI-modellen over je zeggen.
Hoe check je of je robots.txt AI-crawlers blokkeert?
Open jouwsite.nl/robots.txt en zoek naar User-agent-groepen met AI-bots, zoals GPTBot, ClaudeBot of PerplexityBot, en naar brede Disallow-regels voor alle agents. Gebruik een robots.txt-tester om specifieke URL's te controleren. Vergelijk daarna met je serverlogs, want firewalls en CDN's kunnen bots blokkeren, ook als robots.txt ze toelaat.