Wat is Expected Calibration Error?

Wat is Expected Calibration Error eigenlijk?

Stel je voor: je AI-assistent zegt dat een CT-scan "met 90% zekerheid" kanker toont. Een dokter neemt dat serieus en start meteen behandeling. Maar wat als het model eigenlijk bedoelt "ik ben een beetje onzeker, maar dit is mijn beste gok"? Dan klopt die 90% niet met de werkelijkheid.

Expected Calibration Error (ECE) meet precies dát verschil: hoe goed de zekerheid die een AI-model uitstraalt overeenkomt met hoe vaak het daadwerkelijk gelijk heeft. Een goed gekalibreerd model zegt "80% zeker" en heeft in 8 van de 10 keer gelijk. Een slecht gekalibreerd model zegt "95% zeker" maar klopt maar in 6 van de 10 gevallen.

Dit is geen academische verfijning — in de medische wereld, bij financiële beslissingen of zelfsturende auto's kan een vals gevoel van zekerheid levensgevaarlijk zijn.

Hoe werkt het eigenlijk?

Je kunt het zien als een eerlijkheidstest voor AI. Zo gaat het:

• Het model doet duizenden voorspellingen, elk met een zekerheidspercentage ("70% kat", "92% hond")

• Je verdeelt die voorspellingen in groepjes: alle keren dat het model "tussen 80-90% zeker" was bij elkaar

• Per groepje kijk je: hoe vaak had het model écht gelijk?

• ECE is het gemiddelde verschil tussen wat het model zei en wat er gebeurde

Een ECE van 0,02 betekent gemiddeld 2% afwijking — redelijk goed. Een ECE van 0,15 betekent 15% verschil — het model bluft regelmatig.

Waarom is dit belangrijk? Omdat moderne deep learning-modellen nogal eens overmoedig zijn. Ze zeggen "99,8% zeker!" terwijl ze eigenlijk gewoon een patroon herkennen dat ze eerder zagen — niet omdat ze de situatie écht begrijpen.

Een voorbeeld uit de praktijk

Een ziekenhuis test een AI-tool die longfoto's beoordeelt. Het model voorspelt bij 100 patiënten "90% kans op longontsteking". In werkelijkheid blijkt bij slechts 65 van die 100 patiënten daadwerkelijk longontsteking. Het verschil tussen 90% en 65% draagt bij aan de ECE — en toont aan dat artsen die "90%" niet blindelings mogen vertrouwen.

Zonder die ECE-meting zou het ziekenhuis denken: "Geweldig, 90% accuraat!" Mét die meting zien ze: "Het model is té zelfverzekerd, we moeten voorzichtiger zijn."

Waar kom je het tegen?

ECE wordt vooral gebruikt bij:

• Medische AI-systemen — waar een arts moet weten of "85% zeker" ook echt 85% betekent

• Autonome voertuigen — een zelfrijdende auto moet weten wanneer het écht onzeker is en controle moet teruggeven

• Kredietbeoordelingen en fraude-detectie — banken willen weten of "hoog risico" ook echt hoog risico is

• Weersvoorspellingen en klimaatmodellen — waar onzekerheidsmarges cruciaal zijn voor planning

In AI-onderzoek zie je ECE standaard in papers over classificatie-modellen. Tools zoals scikit-learn (Python) hebben functies om ECE te berekenen. Bij commerciële AI-platformen zoals Google Vertex AI, Azure ML of AWS SageMaker kun je kalibratie-statistieken opvragen — vaak als onderdeel van model-evaluatie.

Waarom zou jij hier iets aan hebben?

Als je AI-modellen inzet voor beslissingen waar iets op het spel staat — budget, gezondheid, veiligheid — dan wil je niet alleen weten of het model goed voorspelt, maar ook of het eerlijk is over zijn twijfels. ECE helpt je dat in één getal te vangen.

Praktisch: als je een AI-leverancier evalueert, vraag dan niet alleen naar accuracy, maar ook naar kalibratie-scores. Een model met 92% accuracy maar slechte kalibratie kan gevaarlijker zijn dan een model met 88% accuracy dat eerlijk zegt wanneer het twijfelt. ECE geeft je dat inzicht — en helpt je betere, veiligere keuzes maken.