Wat is Brier Score?

Wat is een Brier Score?

Stel je voor dat een AI-model voorspelt dat het morgen 70% kans heeft om te regenen. Als het inderdaad regent, was die voorspelling goed. Maar als het droog blijft, zat het model ernaast. De Brier Score meet precies dat: hoe ver zaten de voorspellingen van je model af van de werkelijkheid?

De score loopt van 0 tot 1. Een score van 0 betekent perfecte voorspellingen — wat het model zei, gebeurde precies zo. Een score van 1 betekent dat het model het bij elk geval helemaal mis had. Hoe lager de Brier Score, hoe betrouwbaarder je model dus is.

Hoe werkt het eigenlijk?

De Brier Score vergelijkt twee dingen:

• Wat het model voorspelde — bijvoorbeeld "80% kans dat deze klant gaat kopen"

• Wat er echt gebeurde — de klant kocht wel of niet (1 of 0)

Voor elke voorspelling bereken je het verschil tussen die twee, kwadrateer je dat (zodat grote fouten zwaarder wegen), en dan neem je het gemiddelde van al die verschillen. Dat gemiddelde is je Brier Score.

Een voorbeeld: je model voorspelt voor vijf klanten of ze gaan kopen. Het zegt: 90%, 60%, 30%, 80%, 10%. In werkelijkheid kochten klant 1, 2 en 4 wel, en klant 3 en 5 niet. Je berekent per klant hoe ver de voorspelling ernaast zat, en het gemiddelde daarvan is je score.

Waarom zou jij hier iets aan hebben?

Als je werkt met AI die waarschijnlijkheden voorspelt — denk aan kredietrisico, klantenverloop, medische diagnoses, fraudedetectie — wil je weten of die percentages kloppen. Een model dat altijd "50% kans" zegt, zit nooit heel erg mis, maar helpt je ook niet verder. De Brier Score laat zien of je model niet alleen vaak gelijk heeft, maar ook zeker is op de juiste momenten.

Het is vooral handig als je:

• Modellen met elkaar wil vergelijken op basis van de kwaliteit van hun voorspellingen

• Wil checken of je model te voorzichtig is (alles rond de 50%) of juist te zelfverzekerd (altijd 90% of 10%)

• Betrouwbare risico-inschattingen nodig hebt, niet alleen ja/nee-antwoorden

Waar kom je het tegen?

De Brier Score wordt vooral gebruikt in situaties waar kansen belangrijk zijn:

• Risicomodellen in banken en verzekeringen — is deze klant een hoog of laag risico?

• Weersvoorspellingen — klopt die 70% regenkans historisch gezien?

• Medische AI — hoe betrouwbaar is de voorspelling dat iemand een ziekte heeft?

• Marketing en sales — welke leads hebben echt grote koopkans?

In tools zoals scikit-learn (Python) en andere machine learning bibliotheken zit de Brier Score standaard ingebouwd. Je vindt het ook terug in evaluatierapporten van platforms voor voorspellende analytics.

Bij AI-modellen die werken met classificatie en kansen — zoals logistische regressie, random forests of neural networks — is de Brier Score een standaard manier om de kwaliteit te meten.

Wat kun je ermee?

Als je een AI-model bouwt of gebruikt dat voorspellingen doet met waarschijnlijkheden, check dan naast de accuracy ook de Brier Score. Een model met 80% accuracy kan alsnog een slechte Brier Score hebben als het té zeker of juist té twijfelachtig is. Combineer de score met andere metrics zoals AUC of calibratiegrafieken om een compleet beeld te krijgen van hoe goed je model echt presteert — niet alleen of het gelijk heeft, maar ook hoe zeker het zich voelt.