Wat is Next Token Prediction?

Hoe werkt het eigenlijk?

Stel je voor dat je een zin begint: "Morgen ga ik naar de..." Je hersenen vullen automatisch aan: supermarkt, dokter, markt. Precies dat doet een taalmodel zoals GPT ook — het voorspelt steeds het volgende stukje tekst (een 'token') op basis van alles wat ervoor staat.

Een token is meestal een woord of een stukje woord. Het model is getraind op enorme hoeveelheden tekst — miljarden zinnen uit boeken, websites, artikelen. Daardoor heeft het geleerd welke woorden vaak op elkaar volgen. "De kat zit op de..." wordt waarschijnlijk "mat" of "stoel", niet "helikopter".

Het bijzondere: het model genereert niet in één keer een heel antwoord. Het kiest eerst het meest waarschijnlijke eerste woord, voegt dat toe aan de context, en voorspelt dan het volgende. En zo verder, woord voor woord, totdat het klaar is. Elke nieuwe voorspelling gebeurt op basis van de complete geschiedenis van wat er al staat.

Waarom dit zo krachtig is

Next token prediction klinkt simpel, maar het is de basis van vrijwel alle grote taalmodellen. Door deze techniek te perfectioneren, kunnen modellen:

• Vloeiende, natuurlijke teksten schrijven

• Vertalen tussen talen ("The cat" → voorspel Frans → "Le chat")

• Code genereren ("def add(a, b):" → voorspel Python → "return a + b")

• Vragen beantwoorden ("Wat is de hoofdstad van..." → voorspel logisch vervolg)

Het model hoeft niet te "begrijpen" wat een kat is — het heeft alleen geleerd dat in miljoenen zinnen bepaalde woorden vaak samen voorkomen. Toch voelt het resultaat vaak verrassend intelligent aan.

Een praktisch voorbeeld

Je typt in ChatGPT: "Geef me drie tips voor een sollicitatiegesprek."

Het model leest die zin, en voorspelt het eerste woord van het antwoord. Dat wordt misschien "Hier". Dan: "zijn". Dan: "drie". Enzovoort. Bij elke stap kijkt het naar de complete vraag plus alles wat het al gegenereerd heeft, en kiest het meest passende vervolg.

Dit verklaart ook waarom modellen soms halverwege van onderwerp veranderen of herhalen: ze blijven voorspellen op basis van wat er staat, zonder echt vooruit te plannen. Ze hebben geen opgeslagen antwoord klaarliggen — elk woord ontstaat ter plekke.

Waar kom je het tegen?

Next token prediction is de motor onder:

• ChatGPT (OpenAI) — elk woord in een chatgesprek

• Claude (Anthropic) — idem

• Gemini (Google) — ook hier, woord voor woord

• Copilot (Microsoft/GitHub) — voorspelt de volgende regel code

• Autocomplete in je telefoon — klein broertje van hetzelfde principe

In feite gebruikt elk modern taalmodel deze techniek, of het nu gaat om tekstgeneratie, chatbots, of samenvattingen.

Wat kun je ermee?

Als je begrijpt dat een model steeds het volgende woord raadt, snap je ook de beperkingen. Het kan geen echte planning maken voor een lang verhaal (tenzij je dat expliciet in de prompt vraagt). Het kan niet "terugkijken" en iets aanpassen wat het al geschreven heeft — elk woord is een vaststaand feit zodra het er staat.

Tegelijk verklaart het waarom de kwaliteit van je prompt zo belangrijk is: hoe duidelijker de context, hoe beter het model kan voorspellen wat jij bedoelt. Experimenteer met het geven van voorbeelden of het stapsgewijs opbouwen van je vraag — zo help je het model de juiste volgende woorden te kiezen.

Next token prediction is geen magie, maar een ijzersterke voorspellingsmachine. En met die kennis kun je AI-tools een stuk effectiever inzetten.