Wat is Kullback-Leibler Divergence?

Wat meet je eigenlijk?

Stel je voor: je gooit een dobbelsteen, en je wilt weten of die eerlijk is. Je verwacht dat elk getal (1 t/m 6) evenveel kans heeft — ongeveer 17% per getal. Maar na 100 worpen zie je dat de 6 maar liefst 40% van de tijd valt. Er klopt iets niet.

Kullback-Leibler Divergence (vaak afgekort als KL-divergence) is een meetlat die precies dat verschil in kaartbrengt: hoe ver ligt jouw verwachting van de werkelijkheid? Het getal dat eruit komt, zegt: "zo veel informatie mis je als je denkt dat de dobbelsteen eerlijk is, terwijl dat niet zo is."

In AI-termen: je hebt een model dat voorspellingen doet ("ik denk dat het volgende woord 'huis' is met 70% zekerheid"), en je hebt de werkelijkheid ("het was inderdaad 'huis'"). KL-divergence meet hoeveel die voorspelling afwijkt van wat er echt gebeurde.

Hoe werkt het eigenlijk?

De KL-divergence vergelijkt twee kansverdelingen met elkaar:

• De eerste verdeling is wat je verwacht of wat je model voorspelt

• De tweede verdeling is wat er werkelijk gebeurt (de echte data)

Het belangrijkste om te weten:

• Een score van 0 betekent: perfect, geen verschil — je voorspelling klopt precies

• Hoe hoger het getal, hoe groter het verschil tussen verwachting en werkelijkheid

• Het is niet symmetrisch: het verschil tussen A en B is niet hetzelfde als tussen B en A (net zoals de afstand van Amsterdam naar Utrecht anders aanvoelt dan andersom als je tegen de wind fietst)

Waar kom je het tegen?

KL-divergence zit verstopt in het hart van veel AI-systemen, vooral tijdens de training:

• Taalmodellen zoals GPT, Claude, Gemini en Llama gebruiken het om te leren welke woorden het meest waarschijnlijk zijn in een zin

• Variational Autoencoders (VAE's) — systemen die nieuwe afbeeldingen of geluiden kunnen genereren — gebruiken het om te zorgen dat gegenereerde data lijkt op de originele trainingsdata

• Reinforcement learning — denk aan AI die leert gamen of robots aanstuurt — gebruikt het om te meten of het gedrag van de AI dichter bij het gewenste gedrag komt

Je ziet het ook terug in de naam van trainingsmethoden: "cross-entropy loss" is een nauwe verwant die in de praktijk hetzelfde doel dient.

Een voorbeeld uit de praktijk

Stel: je traint een chatbot die moet voorspellen wat iemand gaat typen. De chatbot denkt: "Na 'Hoe gaat het' komt waarschijnlijk 'met' (80%) of 'vandaag' (20%)."

Maar in de trainingsdata staat dat mensen na "Hoe gaat het" bijna altijd "met jou" zeggen (95% van de tijd).

De KL-divergence meet nu: "Jouw chatbot zit er flink naast — de voorspelling (80% 'met') wijkt sterk af van de werkelijkheid (95% 'met jou'). Daar moet je aan werken."

Door duizenden van dit soort vergelijkingen past het model z'n gewichten aan, totdat de KL-divergence zo klein mogelijk wordt — oftewel: de voorspellingen kloppen steeds beter met de werkelijkheid.

Waarom maakt dit uit voor jou?

Als je AI-systemen gebruikt of ontwikkelt, helpt dit begrip je te snappen waarom modellen soms verrassend goed werken (lage divergence = goede voorspellingen) en soms volledig de mist ingaan (hoge divergence = het model "begrijpt" de situatie niet).

Begrijp je hoe een model leert van z'n fouten? Dan snap je ook beter wanneer je een model kunt vertrouwen — en wanneer niet. Het is de onzichtbare meetlat die bepaalt of een AI slim genoeg is voor jouw toepassing.