Wat is Entropy?

Wat is entropy eigenlijk?

Entropy is een begrip uit de informatietheorie dat meet hoe verrassend of onvoorspelbaar iets is. Stel je voor dat je een dobbelsteen gooit: bij een eerlijke dobbelsteen weet je niet wat er komt — er is veel onzekerheid. Dat noemen we hoge entropy. Maar stel dat de dobbelsteen altijd een 6 gooit: dan is er geen verrassingselement meer, en is de entropy nul.

In AI wordt entropy gebruikt om te meten hoe zeker een model is van zijn keuzes. Als een model moet kiezen tussen woorden en alle woorden krijgen ongeveer dezelfde kans, is de entropy hoog — het model twijfelt. Als één woord een veel grotere kans krijgt dan de rest, is de entropy laag — het model is zeker.

Waar kom je entropy tegen in AI?

In de wereld van language models zoals ChatGPT, Claude, Gemini of Copilot speelt entropy een cruciale rol bij het genereren van tekst. Het model berekent voor elk volgend woord een kansverdeling: welk woord past het best? Die verdeling heeft een bepaalde entropy.

Bij tekstgeneratie kun je met parameters als temperature de entropy beïnvloeden. Een lage temperature zorgt voor lage entropy: het model kiest telkens het meest waarschijnlijke woord, waardoor je voorspelbare, saaie tekst krijgt. Een hoge temperature verhoogt de entropy: het model neemt vaker een minder voor de hand liggend woord, wat creativiteit oplevert maar ook kans op onzin.

Bij decision trees wordt entropy gebruikt om te beslissen welke vraag je het best eerst stelt. Je wilt de vraag kiezen die de onzekerheid het meest vermindert — die de data het best opsplitst in herkenbare groepen.

Bij compressie geeft lage entropy aan dat data voorspelbaar is en dus goed te comprimeren valt. Hoge entropy betekent dat data chaotisch is en moeilijk kleiner te maken.

Een voorbeeld uit de praktijk

Stel je werkt met een chatbot die productvragen beantwoordt. Als een klant vraagt "Wanneer wordt mijn pakket bezorgd?", berekent het model een lijst mogelijke antwoorden. Als de verzendstatus duidelijk is ("morgen voor 17:00"), heeft de kansverdeling lage entropy — het model is zeker. Maar als er geen trackinginfo is, krijgen meerdere antwoorden vergelijkbare kansen ("binnen 3-5 dagen", "we kunnen het niet precies zeggen", "neem contact op met de klantenservice") — hoge entropy, veel onzekerheid.

Die entropyscore kun je gebruiken om te detecteren wanneer een model twijfelt en misschien een mens moet inschakelen.

Waarom is dit handig voor jou?

Als je AI-tools gebruikt of inzet in je werk, helpt het begrip entropy je om:

• Betere generatie-instellingen te kiezen: wil je betrouwbare, feitelijke output? Kies lage entropy (lage temperature). Wil je creatieve ideeën? Verhoog de entropy.

• Modelonzekerheid te herkennen: als een model veel twijfelt (hoge entropy), kun je die output met een korreltje zout nemen of extra checken.

• Data-kwaliteit te beoordelen: datasets met lage entropy zijn vaak makkelijker te leren voor een model — er zitten duidelijke patronen in.

Je hoeft geen formules te berekenen, maar weten dat entropy draait om onzekerheid geeft je inzicht in waarom AI soms zelfverzekerd klinkt en soms warrig.

Ga ermee aan de slag

De volgende keer dat je een AI-tool gebruikt met een temperature-slider of creativity-instelling, denk dan aan entropy. Experimenteer: zet 'm laag voor consistente antwoorden, hoog voor brainstormsessies. Let op wanneer een model meerdere verschillende antwoorden geeft op dezelfde vraag — dat is een teken van hoge entropy, en vaak een signaal dat de input onduidelijk was of dat het model geen eenduidig patroon herkent. Met dat inzicht kun je gerichter sturen en betere resultaten halen uit AI-systemen.