Wat zijn tokens?
Tokens zijn de kleine tekstdelen waarmee AI-taalmodellen werken. Een token kan een heel woord zijn, een deel van een woord, een getal of een leesteken. Een model leest je prompt als tokens en schrijft zijn antwoord token voor token.
Een veelgebruikte vuistregel is dat een token in het Engels gemiddeld zo'n vier tekens is, of ongeveer driekwart woord. Veelvoorkomende woorden zijn vaak één token, terwijl zeldzame woorden, lange samenstellingen en ongewone merknamen in meerdere stukjes worden geknipt. Nederlands en veel andere talen hebben vaak meer tokens nodig dan Engels voor dezelfde hoeveelheid tekst. Elk model gebruikt zijn eigen tokenizer, dus dezelfde zin levert in ChatGPT, Claude of Gemini een ander aantal op.
Tokens zijn de eenheid achter bijna elke limiet in AI: de grootte van het contextvenster, de maximale lengte van een antwoord en de prijs van een model via een API.
Waarom tokens belangrijk zijn voor AI-zichtbaarheid
Tokenlimieten bepalen hoeveel van je content een model kan verwerken. Zoekt een AI-assistent op het web, dan kan hij niet elke gevonden pagina volledig aan het model doorgeven. Retrievalsystemen knippen pagina's vaak op in stukken van een vast aantal tokens en geven alleen de meest relevante door. Een kernfeit onder een lange inleiding haalt het antwoord dan misschien nooit.
Tokens verklaren ook waarom AI-antwoorden variëren. Een large language model genereert tokens één voor één en kiest daarbij steeds uit een reeks waarschijnlijke opties. Dezelfde prompt kan daardoor van dag tot dag andere formuleringen, andere merkenlijsten en een andere volgorde opleveren. Eén test zegt dus weinig, en daarom is het de moeite waard om de volatiliteit van AI-antwoorden te volgen.
Zo schrijf je met tokens in je achterhoofd
Begin met het antwoord. Zet het kernfeit in de eerste zin van een sectie, zodat het opknippen en inkorten overleeft.
Houd passages gefocust. Eén idee per alinea maakt elk stuk op zichzelf leesbaar en makkelijker te koppelen aan een vraag.
Schrap opvulling. Standaardteksten, herhaalde navigatie en lange inleidingen nemen ruimte in zonder betekenis toe te voegen.
Schrijf je merknaam altijd hetzelfde. Andere spellingen worden andere reeksen tokens, dus houd het overal bij één versie.
Meet antwoorden over een langere periode. Omdat de output varieert, beoordeel je zichtbaarheid op herhaalde metingen, niet op één screenshot.
Trackbase voert elke dag dezelfde prompts uit bij 11 AI-modellen, zodat je trends ziet in plaats van losse antwoorden. Lees hoe prompt tracking werkt.
Voorbeelden van tokens in de praktijk
Een veelvoorkomend Engels woord als "visibility" is mogelijk één token, terwijl een verzonnen merknaam als "Zwoblix" in meerdere stukjes wordt geknipt.
Volgens de vuistregel is een Engelstalige koopgids van 1.500 woorden ongeveer 2.000 tokens. Een retrievalsysteem geeft daarvan misschien maar een paar stukken door aan het model.
Een B2B-softwareleverancier voor salarisadministratie stelt ChatGPT op drie dagen dezelfde vraag en krijgt drie shortlists in een andere volgorde, omdat elk antwoord token voor token wordt gegenereerd.
Een marketingbureau betaalt voor API-gebruik per miljoen tokens wanneer het grote reeksen prompts door een model haalt.
Veelgestelde vragen
Hoeveel woorden zijn 1.000 tokens?
Volgens een veelgebruikte vuistregel is 1.000 tokens ongeveer 750 Engelse woorden, omdat een token gemiddeld rond de vier tekens is. Het exacte aantal hangt af van de tokenizer van het model en van de taal. Nederlands, met zijn lange samenstellingen, heeft vaak meer tokens nodig voor hetzelfde aantal woorden. Gebruik een tokenteller van de aanbieder als je het precies wilt weten.
Waarom hebben AI-modellen een tokenlimiet?
Alle tokens die een model leest of schrijft, kosten rekenkracht en geheugen. Aanbieders stellen daarom grenzen aan hoeveel tokens in één verzoek passen (het contextvenster) en hoe lang een antwoord mag zijn. Bij heel lange input wordt het ook lastiger voor het model om elk detail goed te gebruiken. Voor content betekent dit dat beknopte, goed gestructureerde pagina's een voordeel hebben.
Hebben tokens invloed op of mijn merk genoemd wordt?
Indirect wel. Tokens bepalen hoeveel opgehaalde content in de input van het model past, dus heldere passages met het antwoord vooraan worden eerder gebruikt dan feiten diep in een lange pagina. En omdat antwoorden token voor token en met enige willekeur worden gegenereerd, kan je merk in het ene antwoord staan en in het volgende ontbreken. Daarom is herhaald meten belangrijk.