Wat is Autoregressive Model?

Hoe werkt het eigenlijk?

Stel je voor dat je een verhaal vertelt aan een groep vrienden. Je begint met "Er was eens een prinses die...", en terwijl je praat, bedenk je elk volgend woord op basis van wat je net hebt gezegd. Je kiest "in" na "die", dan "een" na "in", dan "kasteel" na "een" — steeds opbouwend op je eigen woorden. Precies zo werkt een autoregressive model.

Een autoregressive model is een type AI-model dat tekst genereert door steeds één woord (of technisch: één "token") tegelijk te voorspellen. Het kijkt naar alle woorden die het al heeft geschreven, en berekent dan: "Wat is het meest waarschijnlijke volgende woord?" Dan schrijft het dat woord, voegt het toe aan de rij, en herhaalt het proces. Zo bouwt het stap voor stap een complete zin, alinea of zelfs een heel artikel op.

De term "autoregressive" betekent letterlijk "zelf-terugkerend" — het model gebruikt zijn eigen eerdere output als input voor de volgende stap. Het is een beetje zoals dominostenen omduwen: elk steentje valt door het vorige, en zo ontstaat een kettingreactie.

De meeste moderne taalmodellen — zoals GPT, Claude, Gemini en Llama — zijn autoregressive. Ze zijn getraind op enorme hoeveelheden tekst en hebben geleerd welke woorden vaak na elkaar voorkomen. Daardoor kunnen ze coherente, natuurlijk klinkende zinnen maken, ook al "begrijpen" ze de betekenis niet zoals wij dat doen.

Waarom is dit belangrijk?

Autoregressive modellen zijn de motor achter bijna alle hedendaagse AI-tekstgeneratoren. Ze zijn zo populair omdat ze goed schalen: hoe groter je ze maakt en hoe meer data je ze geeft, hoe vloeiender en contextueel rijker hun output wordt.

Maar er zit ook een keerzijde aan. Omdat elk woord afhankelijk is van de vorige woorden, kunnen kleine foutjes zich opstapelen — een beetje zoals bij fluistertelefoon. Als het model halverwege een foutief feit genereert, bouwt het daar verder op, en kan de rest van de tekst ook misleidend worden. Dat maakt deze modellen gevoelig voor hallucinaties.

Ook zijn autoregressive modellen sequentieel: ze kunnen niet vooruitkijken. Ze genereren woord voor woord, van links naar rechts, zonder te weten wat er aan het einde van de zin komt. Dat is anders dan hoe mensen vaak schrijven — wij plannen soms een zin in ons hoofd voordat we hem opschrijven. Deze beperking maakt dat autoregressive modellen soms aarzelend of omslachtig kunnen formuleren.

Een voorbeeld uit de praktijk

Stel, je typt in een chatbot: "Leg uit waarom de lucht blauw is."

Het autoregressive model begint met het eerste woord. Het "ziet" je vraag en genereert: "De".

Dan kijkt het naar "Leg uit waarom de lucht blauw is. De" en voorspelt: "lucht".

Vervolgens: "Leg uit waarom de lucht blauw is. De lucht" → "is".

En zo verder: "De lucht is blauw omdat zonlicht uit verschillende kleuren bestaat en blauw licht sterker verstrooit in de atmosfeer."

Elk woord wordt één voor één toegevoegd, steeds op basis van alles wat er al staat. Het lijkt alsof de AI nadenkt en schrijft tegelijk — omdat dat ook letterlijk zo is.

Waar kom je het tegen?

Praktisch alle grote taalmodellen die je dagelijks gebruikt, zijn autoregressive:

• ChatGPT (GPT-3.5, GPT-4, GPT-4o)

• Claude (Anthropic)

• Gemini (Google)

• Llama (Meta)

• Mistral (Mistral AI)

• Copilot (Microsoft, gebaseerd op GPT)

Ze verschijnen in chatbots, schrijfassistenten, klantenservice-tools, samenvattingssoftware en code-generators. Telkens wanneer je ziet dat een AI "typt" — woord voor woord verschijnend op je scherm — is er waarschijnlijk een autoregressive model aan het werk.

Er bestaan ook niet-autoregressive modellen, die proberen meerdere woorden tegelijk te genereren, maar die zijn (nog) minder wijdverspreid.

Wat kun je ermee?

Begrijpen hoe autoregressive modellen werken, helpt je realistischer verwachtingen te hebben. Je snapt waarom een AI soms halverwege een antwoord van koers verandert, of waarom het niet "terug kan" om een eerdere fout te corrigeren zonder de hele tekst opnieuw te genereren.

Als je zelf met AI werkt — bijvoorbeeld voor contentcreatie of klantenservice — kun je hier slim op inspelen. Geef duidelijke context aan het begin van je prompt, want alles wat je vroeg zegt, beïnvloedt elk volgend woord. En wees je ervan bewust dat een model geen "plan" heeft voor het einde van de zin — het ontdekt dat zelf terwijl het schrijft. Dat maakt het menselijk, maar ook onvoorspelbaar.