Wat is Cross-Entropy?

Wat meet je eigenlijk?

Stel je voor dat je een AI-model traint om plaatjes van dieren te herkennen. Het model kijkt naar een foto van een kat en moet zeggen: "Ik denk dat dit voor 80% een kat is, voor 15% een hond, en voor 5% een konijn." Cross-entropy is de methode waarmee je meet hoe dicht die gok bij de werkelijkheid zit.

Als het model zegt "80% kat" terwijl het écht een kat is, krijgt het een lage cross-entropy score — dat is goed. Maar als het zegt "5% kat" terwijl het wél een kat is, schiet de score omhoog — het model zit er ver naast. Je kunt het zien als een straffunctie: hoe zekerder het model fout zit, hoe harder de straf.

Hoe werkt het eigenlijk?

Cross-entropy vergelijkt twee dingen:

• Wat er echt aan de hand is (dit is een kat, geen discussie mogelijk)

• Wat het model denkt (mijn beste gok is 80% kat)

Het rekent uit hoe "verrast" het model zou zijn als het de waarheid hoort. Als het model al 95% zeker was dat het een kat was, en het is inderdaad een kat, dan is de verrassing klein — lage score. Maar als het model dacht dat het waarschijnlijk een hond was, en het blijkt een kat, dan is de verrassing groot — hoge score.

Dit getal gebruiken AI-systemen tijdens het leren. Na elke voorspelling kijkt het model naar zijn cross-entropy score en past het zichzelf aan om die score te verlagen. Zo leert het steeds beter welke patronen bij welke antwoorden horen.

Een voorbeeld uit de praktijk

Denk aan een chatbot die grammatica controleert. Je typt een zin en het model moet voorspellen welk woord er daarna komt. Als je schrijft "Ik loop naar de..." dan zou een goed model hoge kansen geven aan woorden als "winkel", "deur", "school".

Als het juiste woord "winkel" is en het model gaf dat 70% kans, krijgt het een redelijke cross-entropy score. Maar als het model "winkel" slechts 2% kans gaf en "paraplu" 60%, dan schiet de score omhoog. Het systeem gebruikt die hoge score als signaal: "Ik zat er flink naast, ik moet mijn verbindingen aanpassen."

Dit proces herhaalt zich miljoenen keren tijdens de training, tot het model steeds betere voorspellingen doet en de gemiddelde cross-entropy lekker laag blijft.

Waar kom je het tegen?

Cross-entropy is de standaard meetlat voor bijna alle moderne AI-modellen die met categorieën of taal werken:

• Beeldherkenning — modellen die foto's sorteren op inhoud (gezichten, objecten, medische scans)

• Taalmodellen — ChatGPT, Claude, Gemini en vergelijkbare systemen gebruiken cross-entropy om te leren welke woorden bij elkaar horen

• Aanbevelingssystemen — Netflix of Spotify die voorspellen wat je waarschijnlijk leuk vindt

• Spraakherkenning — systemen die gesproken taal omzetten naar tekst

In de praktijk zie je het zelden direct terug als gebruiker, maar elk AI-systeem dat met waarschijnlijkheden werkt gebruikt vrijwel zeker een vorm van cross-entropy onder de motorkap. Het staat vaak in trainingsgrafieken als "loss" of "training loss" — het getal dat tijdens het leren steeds verder naar beneden moet.

Waarom zou jij hier iets aan hebben?

Als je AI-systemen gebruikt of laat ontwikkelen, helpt het om te begrijpen dat modellen niet "weten" wat klopt — ze gokken met waarschijnlijkheden. Cross-entropy is de thermometer die aangeeft of die gokken steeds beter worden. Een model met sterk dalende cross-entropy tijdens training leert goed. Een model waar de score stagneert of stijgt, heeft problemen.

Dit inzicht helpt je ook om AI-uitkomsten realistisch te zien: zelfs goed getrainde modellen blijven gissen op basis van patronen. Ze minimaliseren hun verrassingen, maar kunnen nooit 100% zekerheid geven — en dat hoeft ook niet, zolang ze gemiddeld maar dicht genoeg bij de waarheid zitten.