Wat is Sequence Length?

Wat is sequence length eigenlijk?

Stel je voor dat je een verhaal vertelt aan iemand met een beperkt kortetermijngeheugen. Die persoon kan maar een bepaald aantal zinnen tegelijk onthouden voordat de eerste alweer wegzakt. Zo werkt het ook bij AI-taalmodellen: de sequence length (ook wel context window genoemd) is het maximum aantal tokens — kleine tekstbrokjes zoals woorden of woorddelen — dat het model in één keer kan verwerken.

Als je een chatgesprek hebt met een AI-assistent, houdt die alle eerdere berichten bij in z'n 'geheugen'. Maar op een gegeven moment zit dat vol. Komt er een nieuw bericht bij terwijl de limiet bereikt is? Dan valt er aan de andere kant iets af — meestal de oudste berichten. Het model 'vergeet' dan het begin van jullie gesprek.

Waarom maakt dit uit voor jou?

De sequence length bepaalt hoeveel informatie je in één keer aan een AI kunt geven. Dat klinkt technisch, maar heeft directe gevolgen voor wat je ermee kunt:

• Lange documenten analyseren: wil je een contract van 50 pagina's laten samenvatten? Dan heb je een model nodig met een grote sequence length, anders moet je het in stukken knippen.

• Gesprekken die ergens over gaan: bij klantenservice of coaching wil je dat de AI zich het hele gesprek herinnert, niet alleen de laatste drie vragen.

• Code begrijpen: programmeurs gebruiken AI om hele codebases door te nemen. Hoe meer regels code het model tegelijk ziet, hoe beter het de samenhang snapt.

De sequence length wordt uitgedrukt in tokens. Een token is ruwweg drie kwart van een Nederlands woord. Een tekst van 1.000 woorden is ongeveer 1.300 tokens. Modellen van een paar jaar geleden konden zo'n 2.000 tot 4.000 tokens aan — genoeg voor een kort artikel. Moderne modellen halen 100.000 tokens of meer, wat neerkomt op een klein boek.

Een praktijkvoorbeeld

Stel: je runt een webshop en wilt dat een AI al je productbeschrijvingen en klantvragen doorneemt om verbeterpunten te vinden. Je hebt 200 producten met elk een pagina tekst, plus 500 klantreviews. Dat is samen misschien 150.000 tokens.

Een model met een sequence length van 8.000 tokens kan dat niet in één keer. Je moet dan de data opdelen in stukken, het model elk stuk apart laten analyseren, en zelf de conclusies samenvoegen. Dat werkt, maar je mist de samenhang.

Met een model dat 200.000 tokens aankan, gooi je alles erin en krijg je in één keer een overzicht dat dwarsverbanden ziet: "Klanten klagen over de pasvorm van schoenen, en die reviews noemen vaak ook de maattabel — die staat onderin de pagina en wordt gemist."

Waar kom je het tegen?

Als je met AI-tools werkt, zie je sequence length vaak terug bij de specs:

• ChatGPT (GPT-4): standaard 8.000 tokens, met Turbo-versies tot 128.000

• Claude (Anthropic): 200.000 tokens, één van de grootste op dit moment

• Gemini (Google): tot 1.000.000 tokens bij nieuwste versies

• Llama-modellen (Meta): variabel, vaak 4.000 tot 32.000 tokens

In de documentatie van deze tools staat vaak "context window" of "maximum context length" — dat is hetzelfde als sequence length. Let erop bij het kiezen: een groter venster betekent vaak ook hogere kosten per vraag, omdat het model meer moet verwerken.

Technisch detail: waarom is groter niet altijd gratis?

Hoe langer de sequence, hoe meer rekenwerk. Modellen moeten elk token vergelijken met alle andere tokens om samenhang te begrijpen — dat schaalt kwadratisch. Dus 10× meer tokens betekent ruwweg 100× meer rekenkracht. Daarom zijn modellen met gigantische context windows duurder en langzamer.

Nieuwe technieken zoals sparse attention proberen dit op te lossen door slimmer te selecteren welke tokens echt met elkaar vergeleken moeten worden. Dat maakt langere sequences praktischer.

Wat kun je er nu mee?

Als je AI inzet voor je werk, check altijd de sequence length voordat je begint. Ga je regelmatig lange documenten verwerken? Kies dan een tool met een ruime context window. Werk je vooral met korte vragen en antwoorden? Dan volstaat een kleiner model — dat scheelt in kosten.

Wil je weten hoeveel tokens je tekst is? Veel tools hebben een ingebouwde token-teller, of je gebruikt online tools zoals de OpenAI tokenizer. Zo weet je van tevoren of je binnen de limiet blijft, en voorkom je verrassingen halverwege een belangrijke taak.