Wat is Context Length?

Wat is context length eigenlijk?

Stel je voor: je belt met een vriend, maar die kan alleen de laatste vijf minuten van jullie gesprek onthouden. Alles wat daarvoor gezegd is, vergeet hij meteen. Lastig als je een lang verhaal wilt vertellen, toch?

Bij AI-modellen werkt het net zo. Context length (of context window) is het maximum aantal woorden — eigenlijk: tokens — dat een model in één keer kan verwerken. Een token is ongeveer een stukje woord, soms een heel woord, soms een leesteken. Gemiddeld kom je op zo'n 0,75 woord per token.

Heb je een model met een context length van 8.000 tokens? Dan kun je ongeveer 6.000 woorden invoeren (een kort rapport) voordat het model het begin van je tekst 'vergeet'. Modellen met een langere context kunnen hele boeken, juridische dossiers of complete chatgeschiedenissen aan.

Waarom is dat belangrijk voor jou?

Hoe langer de context, hoe meer het model kan vasthouden in zijn 'werkgeheugen':

• Langere gesprekken: je kunt doorpraten zonder dat het model vergeet wat je tien berichten geleden zei

• Grotere documenten: je uploadt een heel contract of thesis, en het model kan de hele tekst doorzoeken en samenvatten

• Meer voorbeelden: je geeft het model tien cases om van te leren, in plaats van twee

• Complexere opdrachten: je combineert meerdere taken in één prompt

Maar let op: een langere context betekent ook dat het model meer rekenkracht nodig heeft en dus trager of duurder wordt. Net zoals een mens langer nadenkt als je 'm vraagt tien dingen tegelijk te onthouden.

Een voorbeeld uit de praktijk

Stel: je bent jurist en je wilt een AI-assistent laten checken of een contract in strijd is met een wet. Je plakt het contract (4.000 woorden) en de wet (3.000 woorden) in één prompt. Dat is samen zo'n 9.000 tokens.

Een model met een context van 8.000 tokens? Hakt de tekst af — je krijgt een incomplete analyse. Een model met 128.000 tokens? Leest alles in één keer en geeft een compleet antwoord.

In klantenservice: een chatbot met een korte context vergeet na een paar berichten wat de klant eerder zei over zijn probleem. Eentje met een lange context houdt het hele gesprek bij en hoeft niet telkens opnieuw te vragen.

Hoe groot is zo'n context eigenlijk?

Een paar voorbeelden:

• 4.000 tokens: een krantenartikel of blogpost

• 32.000 tokens: een scriptie of uitgebreid rapport

• 128.000 tokens: een gemiddeld boek of een dag aan chatgesprekken

• 1.000.000 tokens: stapels juridische documenten, complete bedrijfsarchieven

Modellen worden elk jaar krachtiger. Wat twee jaar geleden nog science fiction was — een miljoen tokens — is nu beschikbaar bij verschillende aanbieders.

Waar kom je het tegen?

Context length zie je terug in de specificaties van elk AI-model:

• ChatGPT (GPT-4): 8.000–128.000 tokens, afhankelijk van de versie

• Claude: tot 200.000 tokens

• Gemini: tot 1.000.000 tokens

• Mistral: 32.000–128.000 tokens

• LLaMA: varieert, vaak 4.000–32.000 tokens

Checkpoints voor actuele cijfers staan op de officiële websites van de leveranciers, want deze grenswaarden verschuiven constant.

Beperkingen in de praktijk

Een groot context window is mooi, maar niet magisch. Onderzoek laat zien dat modellen soms moeite hebben met de 'middelste' stukken van een héél lange tekst — ze onthouden het begin en einde beter. Alsof je een dik boek leest en halverwege een beetje afgeleid raakt.

Daarom: bij extreem lange documenten kan het slimmer zijn om gerichte vragen te stellen over specifieke delen, in plaats van alles in één keer erin te gooien.

Wat kun je er nu mee?

Wil je AI effectief gebruiken? Let op de context length van het model dat je kiest. Werk je met korte vragen of opdrachten? Dan volstaat een kleiner model. Ga je hele dossiers, onderzoeksrapporten of dagenlange chatgesprekken analyseren? Kies dan bewust voor modellen met een ruime context.

En onthoudt: meer context betekent meer mogelijkheden, maar ook meer kosten en rekentijd. Net zoals bij alles in AI draait het om de juiste tool voor de juiste klus.