Wat is AI Token?

Wat is een AI-token eigenlijk?

Als jij een zin typt in ChatGPT of een ander taalmodel, leest dat model niet gewoon woord voor woord. In plaats daarvan hakt het je tekst op in kleine brokjes: tokens. Soms is een heel woord één token, soms is een enkele letter al een token, en soms is een leesteken een aparte token. Het hangt af van hoe vaak die combinatie van letters voorkomt in de trainingsdata.

Denk aan tokens als LEGO-blokjes: sommige blokjes zijn groot en herkenbaar ("huis", "auto"), andere zijn kleine losse steentjes ("ing", "e"). Het model bouwt zinnen door die blokjes aan elkaar te rijgen. Voor het Nederlands zijn tokens vaak wat kleiner dan voor het Engels, omdat Nederlandse woorden minder vaak in de trainingsdata staan.

Hoe werkt het eigenlijk?

Elk taalmodel heeft een tokenizer — een soort hakselaar die tekst opknipt volgens vaste regels. Die regels leer je niet zelf: ze ontstaan tijdens de training van het model. Veelvoorkomende woordjes zoals "de" of "een" worden meestal één token. Zeldzame woorden of woorden met veel letters worden vaak in stukjes geknipt.

Een paar voorbeelden:

• "koffie" → vaak 1 token (komt veel voor)

• "schaatsenrijden" → vaak 3 of 4 tokens (lang, zeldzamer)

• "AI-model" → vaak 3 tokens ("AI", "-", "model")

• Een emoji → meestal 1 of 2 tokens

Het getal dat je ziet bij "tokens" in je factuur of in de interface? Dat is het totaal van alle blokjes die het model moest verwerken — zowel jouw vraag als het antwoord.

Waarom zou jij hier iets aan hebben?

Tokens bepalen twee dingen die direct invloed hebben op jouw gebruik:

1. Je kosten Verreweg de meeste AI-diensten rekenen per token. Hoe meer tokens, hoe meer je betaalt. Een korte prompt van 50 woorden kan 60 tokens zijn, een lang document van 1.000 woorden kan 1.500 tokens zijn. Wie veel tekst invoert of lange antwoorden vraagt, betaalt meer.

2. De geheugenlimiet van het model Elk model heeft een context window: het maximale aantal tokens dat het tegelijk kan onthouden. Bij oudere modellen was dat 4.000 tokens, bij nieuwere vaak 128.000 of zelfs meer. Zodra je prompt + antwoord samen die grens nadert, begint het model dingen te vergeten of moet je opnieuw beginnen.

Als je bijvoorbeeld een heel contract wilt samenvatten, kan het zijn dat het model halverwege stopt omdat je door de tokenlimiet heen bent. Dan moet je het document in stukken opdelen.

Een voorbeeld uit de praktijk

Stel: je bent een marketeer en je vraagt een AI-tool om een blogpost te schrijven van 800 woorden. Die 800 woorden zijn ongeveer 1.000 tot 1.200 tokens. Jouw prompttekst was 50 woorden (pakweg 65 tokens). Het model verwerkt dus in totaal zo'n 1.200 tokens.

Als de prijs 0,002 cent per token is, kost dat rondje €0,024. Klinkt weinig, maar bij duizend van zulke verzoeken per maand ben je €24 kwijt. Wil je dat model ook nog eens de bronnen laten checken en een tweede versie laten schrijven? Dan verdubbel je je tokengebruik.

Waar kom je het tegen?

Praktisch alle moderne AI-diensten werken met tokens:

• ChatGPT, Claude, Gemini, Copilot, Mistral — je ziet vaak een tokenteller in de interface of in je gebruiksoverzicht

• API's voor ontwikkelaars — facturen zijn altijd in tokens (input + output apart)

• Abonnementen — sommige betaalplannen geven je X tokens per maand, zoals een beltegoedkaart

• Gratis limieten — "50 berichten per dag" betekent vaak eigenlijk "X tokens per dag"

Wil je zelf testen hoeveel tokens een stuk tekst is? Bijna alle grote aanbieders hebben een online tokenizer-tool op hun website (OpenAI, Anthropic, Google). Plak je tekst erin en je ziet direct hoeveel tokens het zijn.

Wat kun je er nu mee?

Begrijpen hoe tokens werken helpt je slimmer en goedkoper met AI om te gaan. Schrijf compacte prompts, vermijd overbodige herhaling, en let op de tokenlimiet van je model als je lange documenten invoert. Wil je experimenteren met meerdere modellen? Check altijd de tokenprijzen — die verschillen enorm per aanbieder. Zo houd je controle over je kosten én voorkom je verrassingen als je prompt ineens halverwege afgekapt wordt.