Wat is trainingsdata?
Trainingsdata is de verzameling tekst, code en andere content waarvan een AI-model leert voordat het wordt uitgebracht. Bij een large language model gaat het meestal om openbare webpagina's, boeken, code, gelicenseerde content en data die door mensen is voorbereid. Bij de grootste modellen loopt dat op tot biljoenen tokens.
Tijdens de training kopieert het model geen pagina's naar een bibliotheek. Het leert patronen: hoe taal werkt, welke feiten vaak worden genoemd en welke merken gekoppeld zijn aan welke onderwerpen, producten en meningen. Het exacte recept wordt zelden volledig gepubliceerd, maar AI-bedrijven beschrijven meestal een mix van openbare, gelicenseerde en door mensen gemaakte data.
Een groot deel van de openbare data wordt verzameld door crawlers. GPTBot van OpenAI verzamelt pagina's die gebruikt kunnen worden om de modellen van OpenAI te trainen, en CCBot bouwt aan Common Crawl, een gratis webarchief dat veel AI-ontwikkelaars gebruiken. Het verzamelen stopt bij de knowledge cutoff van het model.
Waarom trainingsdata belangrijk is voor jouw merk
Trainingsdata vormt het standaardbeeld dat een model van je bedrijf heeft. Antwoordt een AI-assistent zonder op het web te zoeken, dan komt alles wat hij over je zegt uit patronen in die data: of je genoemd wordt, waar je om bekendstaat en hoe je je verhoudt tot concurrenten. Een merk dat vaak, consistent en positief beschreven wordt in veel bronnen, maakt een sterkere indruk dan een merk dat alleen over zichzelf praat.
AI-bedrijven brengen regelmatig nieuwe modellen uit, getraind op nieuwere data. Je aanwezigheid op het web van vandaag wordt zo de trainingsdata van morgen, en aandacht die je nu verdient, kan antwoorden nog lang beïnvloeden. Lees meer over hoe AI-modellen bepalen welke merken ze aanraden.
Zo beïnvloed je trainingsdata
Bepaal je crawlerbeleid. Check welke AI-crawlers je robots.txt toelaat. Blokkeer je trainingscrawlers zoals GPTBot, dan blijven je pagina's buiten toekomstige trainingssets, maar weten modellen mogelijk ook minder over je. OpenAI behandelt GPTBot los van zijn zoekcrawler OAI-SearchBot.
Publiceer heldere, feitelijke content. Leg in gewone zinnen uit wat je doet, voor wie en waarin je verschilt.
Verdien vermeldingen op andere sites. Reviews, vakmedia, bedrijvengidsen en communitydiscussies vergroten je aanwezigheid buiten je eigen domein.
Wees consistent. Gebruik overal dezelfde naam, omschrijving en kernfeiten, zodat het model één helder beeld leert.
Crawler Analytics van Trackbase laat zien welke AI-crawlers je site bezoeken en wat ze lezen, zodat je ziet of trainingscrawlers je content ophalen.
Voorbeelden van trainingsdata in de praktijk
Een B2B-softwareleverancier voor salarisadministratie die al jaren in HR-vakmedia verschijnt, wordt door een model dat uit zijn geheugen antwoordt uitgebreid beschreven, terwijl een nieuwere concurrent nauwelijks bekend is.
Een Nederlandse fietsenwebshop die alle AI-crawlers blokkeerde, merkt dat AI-assistenten die uit hun geheugen antwoorden weinig van zijn assortiment weten.
Een receptenblog laat OAI-SearchBot toe maar blokkeert GPTBot. De pagina's kunnen zo nog in ChatGPT search verschijnen, maar blijven buiten toekomstige training van OpenAI-modellen.
De oude prijzen van een softwarebedrijf staan op veel vergelijkingssites en blijven daardoor opduiken in antwoorden, omdat ze de data domineerden waarop het model is getraind.
Veelgestelde vragen
Kan ik zien of mijn website in de trainingsdata van een AI-model zit?
Meestal niet direct, want AI-bedrijven publiceren zelden volledige lijsten met trainingsbronnen. Wel kun je in je serverlogs of crawleranalyses kijken naar trainingscrawlers zoals GPTBot en CCBot. Dan zie je of je pagina's zijn opgehaald. Vraag je een model zonder zoekfunctie naar je merk, dan krijg je ook een globaal beeld van hoe goed het je kent.
Moet ik AI-crawlers blokkeren voor training?
Dat hangt af van je doelen. Blokkeren houdt je content buiten toekomstige modellen, wat vooral telt voor uitgevers bij wie de content het product is. Voor de meeste merken helpt het juist om goed vertegenwoordigd te zijn in trainingsdata, zodat modellen je kennen en aanraden. Je kunt ook training blokkeren en zoekcrawlers toelaten, omdat verschillende AI-bedrijven daar aparte crawlers voor hebben.
Verdwijnt informatie uit AI-modellen als ik die van mijn website haal?
Niet uit modellen die al getraind zijn. Wat een model heeft geleerd, blijft erin tot een nieuwere versie het vervangt. Een pagina verwijderen of corrigeren helpt wel bij AI-assistenten die op het web zoeken, en het bepaalt wat toekomstige modellen kunnen leren. Publiceer bij verouderde feiten een duidelijke correctie en werk ook externe bronnen bij.