Wat is Type I Error?

Wanneer je model te snel aan de bel trekt

Stel je voor: je bouwt een AI-systeem dat moet detecteren of iemand ziek is. Het systeem zegt bij tien mensen: "Ja, je bent ziek." Maar bij onderzoek blijken drie van hen helemaal gezond. Die drie zijn Type I errors — ook wel false positives genoemd. Je model gaf alarm terwijl dat niet nodig was.

Een Type I error gebeurt dus wanneer je model iets signaleert dat er niet is. Het ziet spoken. Het roept "wolf!" terwijl er geen wolf is. In statistische taal: je verwerpt een nulhypothese ("er is niets aan de hand") terwijl die nulhypothese eigenlijk waar was.

Hoe ontstaat zo'n fout?

Elk AI-model moet voortdurend beslissingen nemen: is dit een kat of een hond? Is deze mail spam of niet? Is deze transactie frauduleus of legitiem? Bij die beslissing zet het model ergens een grens — een drempel. Alles boven die drempel krijgt een "ja", alles eronder een "nee".

Als je die drempel te laag zet, wordt je model gevoeliger. Het vangt meer dingen op, maar het gaat ook vaker vals alarm slaan. Net zoals een rookmelder die je te gevoelig instelt: die waarschuwt je voor elke brandende kaars, maar ook voor de stoom uit je koffie.

Bij het trainen van een model moet je dus een afweging maken: hoeveel false positives accepteer je? Dat hangt af van de context. Bij een spam-filter is een Type I error vervelend (een belangrijke mail verdwijnt in je spam), maar niet rampzalig. Bij medische diagnostiek kan het betekenen dat iemand onnodig wordt behandeld of gestrest raakt.

Een voorbeeld uit de praktijk

Een webshop gebruikt een fraudedetectie-model. Het model blokkeert transacties die het verdacht vindt. Type I errors zijn hier transacties die het model als frauduleus markeert, maar die van echte klanten komen. Die klanten kunnen niet afrekenen en haken gefrustreerd af.

De webshop kan de drempel van het model aanpassen. Een lagere drempel betekent: meer transacties worden geblokkeerd, dus meer fraudeurs gestopt, maar ook meer ontevreden echte klanten (meer Type I errors). Een hogere drempel betekent: minder valse alarmen, maar ook meer fraudeurs die erdoorheen glippen (Type II errors).

Deze trade-off tussen Type I en Type II errors is fundamenteel. Je kunt ze niet allebei tot nul reduceren — je moet kiezen waar je prioriteit ligt.

Waar kom je het tegen?

Medische AI: een model dat huidkanker detecteert kan mensen onnodig doorverwijzen (Type I) of juist gevallen missen (Type II). Artsen kijken naar beide foutmarges.

Spam-filters: een false positive betekent dat een echte mail in je spam belandt. Gmail, Outlook en andere mailproviders optimaliseren voortdurend om dit te minimaliseren.

Beveiligingssystemen: gezichtsherkenning bij toegangscontrole, creditcard-fraudedetectie, anti-virus software — overal waar een systeem moet beslissen "wel of niet", spelen Type I errors een rol.

Recruitment-AI: systemen die cv's screenen kunnen goede kandidaten afwijzen (Type I) of slechte kandidaten doorlaten (Type II). Daarom blijft menselijke controle belangrijk.

Wat kun je ermee?

Als je een AI-systeem inzet, vraag dan naar de error rates: hoeveel false positives (Type I) en false negatives (Type II) produceert het? Die cijfers vertellen je hoe betrouwbaar het systeem is en waar de risico's liggen. En besef: elk model maakt fouten. De kunst is om te weten welke fouten je kunt accepteren — en welke niet.