Wat is Decoder-Only?

Wat is decoder-only eigenlijk?

Als je met ChatGPT of Claude praat, gebruik je een decoder-only model. Dat betekent: het model leest wat jij hebt getypt (of wat het zelf al heeft geschreven), en voorspelt daarna steeds het volgende woord. En het volgende. En het volgende. Tot het een volledig antwoord heeft opgebouwd.

De term komt uit de Transformer-architectuur — het bouwplan waarop bijna alle moderne taalmodellen draaien. Een volledige Transformer bestaat uit twee delen: een encoder (leest en begrijpt de tekst) en een decoder (schrijft nieuwe tekst). Maar het blijkt dat je voor de meeste taken alleen dat tweede deel nodig hebt: de decoder. Vandaar decoder-only.

Hoe werkt het?

Stel je voor dat je een zin aan het typen bent op je telefoon, en de autocorrectie stelt telkens het volgende woord voor. Zo werkt een decoder-only model ook — alleen veel geavanceerder. Het kijkt naar alle woorden die er al staan (de context), en berekent welk woord het meest logisch volgt. Dat doet het niet één keer, maar honderden of duizenden keren achter elkaar, tot het antwoord af is.

De truc zit 'm in attention: het model kan naar álle eerdere woorden kijken, maar alleen naar wat er vóór het huidige woord staat — nooit vooruit. Dat heet causal attention of masked attention. Zo leert het model patronen in taal: "als er 'Goedemorgen' staat, komt daarna vaak een naam of een vraag".

Waarom werkt dit zo goed?

Decoder-only modellen zijn verrassend veelzijdig. Ze kunnen:

• Vragen beantwoorden

• Teksten samenvatten

• Code schrijven

• Vertalingen maken

• Creatieve verhalen bedenken

Allemaal met hetzelfde trucje: voorspel het volgende woord. Door ze te trainen op enorme hoeveelheden tekst (miljarden woorden uit boeken, websites, artikelen) leren ze niet alleen grammatica, maar ook feiten, redeneerstijlen en toon.

Het grote voordeel: je hoeft geen aparte encoder-decoder-structuur te bouwen. Eén decoder is genoeg, en die is makkelijker te trainen en te schalen naar honderden miljarden parameters.

Waar kom je het tegen?

Alle grote chatbots en taalmodellen die je kent, zijn decoder-only:

• GPT-modellen (ChatGPT, GPT-4)

• Claude (Anthropic)

• Gemini (Google)

• LLaMA (Meta)

• Mistral

• Command (Cohere)

Ze delen hetzelfde basisprincipe: autoregressief genereren (elk woord hangt af van de vorige woorden).

Een voorbeeld uit de praktijk

Je typt in ChatGPT: "Schrijf een motiverende openingszin voor een sollicitatiebrief."

Het model leest die prompt, en voorspelt:

• Eerste woord: "Met" (hoogste kans)

• Tweede woord: "grote" (gegeven "Met")

• Derde woord: "enthousiasme" (gegeven "Met grote")

• Enzovoort.

Elke stap is een voorspelling op basis van wat er al staat. Daardoor voelt het antwoord vloeiend en samenhangend aan — ook al "denkt" het model eigenlijk woord-voor-woord.

Waarom zou jij hier iets aan hebben?

Als je begrijpt dat ChatGPT en soortgelijke tools decoder-only zijn, snap je ook hun beperkingen: ze kunnen niet "vooruitkijken" in hun eigen antwoord, en soms herhalen ze zichzelf of raken ze de draad kwijt in lange teksten. Ze zijn ook niet perfect in taken die veel "begrip" vereisen (zoals vertalen van complexe teksten) — hoewel ze daar vaak verrassend goed in zijn.

Maar het helpt ook om te weten: de tool die je gebruikt, is getraind om te schrijven, niet per se om te redeneren of feiten op te zoeken. Dat maakt het des te indrukwekkender dat ze zoveel kunnen — en des te belangrijker dat je hun output kritisch bekijkt.

Wil je meer uit je chatbot halen? Denk aan je prompts als een verhaal dat het model verder moet schrijven. Hoe duidelijker en gestructureerder je begint, hoe beter het model het vervolg kan voorspellen.