Wat is AUC?

Wat is AUC eigenlijk?

Stel je voor: je bouwt een spamfilter. Die moet elke mail in één van twee hokjes stoppen: spam of geen spam. AUC (Area Under the Curve) is een getal tussen 0 en 1 dat aangeeft hoe goed jouw filter daarin is. Een AUC van 0,5 betekent dat je model net zo goed gokt als een muntje opgooien. Een AUC van 1,0 betekent perfecte voorspellingen — elke spammail wordt herkend, en geen enkele goede mail belandt per ongeluk in de prullenbak.

De 'curve' waar het over gaat heet de ROC-curve (Receiver Operating Characteristic). Die laat zien hoe het model presteert bij verschillende drempelwaardes. De oppervlakte onder die curve — dat is de AUC.

Waarom is dit handig?

AUC is populair omdat het één duidelijk cijfer geeft voor de kwaliteit van een classificatiemodel. Je kunt het gebruiken om modellen met elkaar te vergelijken: heeft versie A een AUC van 0,82 en versie B een AUC van 0,89? Dan weet je dat B beter is in het scheiden van de twee groepen.

Het grote voordeel: AUC kijkt naar alle mogelijke drempelwaardes tegelijk. Bij sommige metrics moet je vooraf kiezen: "Vanaf welke zekerheid noemen we iets spam?" AUC doet dat niet — het geeft een overall beeld van hoe goed het model kan discrimineren, ongeacht waar je de grens trekt.

Een voorbeeld uit de praktijk

Een ziekenhuis bouwt een model dat voorspelt of een patiënt diabetes heeft, op basis van bloedwaarden. Het model geeft voor elke patiënt een score tussen 0 en 1: hoe hoger, hoe waarschijnlijker diabetes. De ROC-curve toont wat er gebeurt als je de grens verschuift:

• Zet je de grens laag (bijvoorbeeld 0,3)? Dan vang je bijna alle diabetespatiënten, maar ook veel vals alarm.

• Zet je de grens hoog (bijvoorbeeld 0,8)? Dan heb je weinig vals alarm, maar mis je ook echte gevallen.

De AUC vat samen hoe goed het model over al die scenario's heen presteert. Een AUC van 0,92 betekent dat het model in 92% van de gevallen een willekeurige diabetespatiënt een hogere score geeft dan een willekeurige gezonde persoon — dat is behoorlijk goed.

Waar kom je het tegen?

• Medische diagnostiek: modellen die ziektes detecteren op scans of uit labwaarden

• Fraudedetectie: banken die verdachte transacties eruit filteren

• Marketing: voorspellen welke klanten waarschijnlijk weggaan (churn)

• Credit scoring: beoordelen of iemand een lening kan terugbetalen

• Content moderatie: platforms die toxic content of nepnieuws herkennen

In tools als Python (scikit-learn), R, of cloud-platforms zoals AWS SageMaker en Google Vertex AI vind je AUC standaard terug in de evaluatierapportages van classificatiemodellen.

Let op de context

AUC is niet altijd het beste meetinstrument. Bij sterk ongebalanceerde datasets — bijvoorbeeld als 99% van de mails geen spam is — kan een model een hoge AUC scoren terwijl het eigenlijk weinig toevoegt. In zo'n geval kijk je beter ook naar precision, recall of de F1-score.

Bovendien werkt AUC alleen voor binaire classificatie (twee groepen). Heb je drie of meer categorieën (bijvoorbeeld sentiment: positief/neutraal/negatief), dan heb je andere metrics nodig.

Wat kun je ermee?

Als je een AI-model bouwt of laat bouwen dat iets moet herkennen — spam, fraude, ziektes, goede leads — vraag dan altijd naar de AUC. Het geeft je in één oogopslag een gevoel voor de kwaliteit. Zit je boven de 0,8? Dan heb je een bruikbaar model. Onder de 0,7? Dan is er nog werk aan de winkel. Gebruik het als kompas, niet als enige waarheid — en kijk altijd ook naar wat het model in de praktijk doet met échte data.