Wat is Byte Pair Encoding?

Wat is Byte Pair Encoding eigenlijk?

Stel je voor dat je een enorme boekenplank hebt met tienduizenden woorden. Als je elk woord afzonderlijk moet onthouden, wordt dat al snel onhandelbaar. Byte Pair Encoding (BPE) is een slimme truc die AI-modellen gebruiken om tekst op te knippen in handige brokjes — niet per letter, maar ook niet per heel woord. Het zoekt naar lettercombinaties die vaak samen voorkomen en plakt die aan elkaar.

Denk aan het woord "koffiekopje". In plaats van dit als één gigantisch woord op te slaan óf als losse letters (k-o-f-f-i-e-k-o-p-j-e), kan BPE het opdelen in bijvoorbeeld "koffie" + "kopje" of zelfs "kof" + "fie" + "kop" + "je" — afhankelijk van wat het algoritme het vaakst tegenkomt in de trainingsdata. Hoe vaker een combinatie voorkomt, hoe meer kans dat het als één geheel wordt behandeld.

Hoe werkt het eigenlijk?

Byte Pair Encoding begint met alle individuele tekens (letters, cijfers, leestekens). Vervolgens kijkt het algoritme: welke twee tekens staan het vaakst naast elkaar? Die worden samengevoegd tot één nieuw "token". Dat proces herhaalt zich: de nieuw gevormde combinaties kunnen weer met andere combinaties worden samengevoegd, net zolang tot je een vocabulaire hebt van bijvoorbeeld 50.000 tokens.

Een voorbeeld:

• Start: "a", "a", "b", "a", "a", "b" → meest voorkomende paar is "aa"

• Stap 1: voeg "aa" samen → nu heb je "aa", "b", "aa", "b"

• Stap 2: misschien is "aa" + "b" nu het meest voorkomende paar → voeg samen tot "aab"

Zo bouwt BPE een woordenboek op van veelgebruikte bouwstenen. Woorden die vaak voorkomen (zoals "de", "het", "en") krijgen meestal hun eigen token. Zeldzame woorden worden opgesplitst in kleinere stukjes die het model wél kent.

Waarom is dit handig?

Zonder tokenization zou een AI-model elk mogelijk woord moeten kennen — inclusief tikfouten, nieuwe woorden en vreemde samenstellingen. Dat is onmogelijk. Met BPE kan een model:

• Efficiënt werken: minder tokens betekent sneller rekenen

• Flexibel zijn: nieuwe woorden zoals "ChatGPT" of "klimaatakkoord" worden automatisch opgedeeld in herkenbare stukjes

• Meertalig: dezelfde aanpak werkt voor Nederlands, Engels, Mandarijn — elke taal heeft gewoon zijn eigen set veelvoorkomende combinaties

Het nadeel? Soms worden woorden op onlogische plekken geknipt. Het Engelse woord "strawberry" wordt door sommige modellen bijvoorbeeld opgesplitst als "str", "aw", "berry" — waardoor een model moeite kan hebben met tellen hoeveel letters erin zitten. Dat komt doordat BPE zuiver statistisch werkt, zonder begrip van betekenis.

Waar kom je het tegen?

Byte Pair Encoding zit onder de motorkap van vrijwel alle grote taalmodellen:

• GPT-modellen (GPT-3, GPT-4) gebruiken BPE voor hun tokenization

• Claude past een variant toe om tekst efficiënt te verwerken

• LLaMA en andere open-source modellen gebruiken het ook

• Vertaalsystemen zoals Google Translate en DeepL gebruiken vergelijkbare methodes

Als je ooit de melding zag "maximum tokens bereikt" bij ChatGPT of een andere AI-tool, dan had je te maken met de limiet van hoeveel van deze tokens het model in één keer kan verwerken. Die tokens zijn gemaakt met BPE.

Een praktisch effect dat je zelf kunt zien

Probeer maar eens een heel nieuw, verzonnen woord in te voeren bij een AI-tool — bijvoorbeeld "superduperlangwoord". Het model zal het begrijpen, omdat het wordt opgesplitst in bekende stukjes: "super", "duper", "lang", "woord". Zonder BPE zou het model dit woord helemaal niet kennen.

Ook grappig: emojis en speciale tekens worden vaak elk afzonderlijk als token behandeld, waardoor een bericht vol emoji's al snel je tokenlimiet opeet. Dat komt omdat ze zeldzamer zijn in de trainingsdata en dus niet zijn samengevoegd tot grotere eenheden.

Wat kun je er nu mee?

Als je werkt met AI-modellen of ze inzet in je bedrijf, helpt het om te snappen dat tekst niet "letterlijk" wordt gelezen, maar via deze tokens. Dat verklaart waarom:

• Sommige woorden (vooral in andere talen of jargon) meer tokens kosten dan je denkt

• Modellen soms moeite hebben met precieze lettermanipulaties (zoals "draai het woord om")

• Je factuur voor API-gebruik wordt berekend per token, niet per woord

Begrijp je hoe tokenization werkt, dan kun je slimmer prompten schrijven en beter inschatten hoeveel een AI-interactie kost. En je snapt waarom een AI soms op vreemde plekken een woord 'breekt' — het volgt gewoon de statistiek van miljarden teksten die het eerder heeft gezien.