Wat is Chi-Square Test?

Wat is een Chi-Square Test eigenlijk?

Stel je voor: je gooit 100 keer met een dobbelsteen en krijgt 40 keer een zes. Is die dobbelsteen vals, of had je gewoon geluk? Een Chi-Square Test helpt je om precies die vraag te beantwoorden: is wat je ziet puur toeval, of zit er een patroon achter?

In AI-land gebruik je deze test vooral om te checken of een model zich goed gedraagt. Bijvoorbeeld: voorspelt je sollicitatie-AI vaker 'geschikt' voor mannen dan voor vrouwen? En is dat verschil groot genoeg om te zeggen dat er iets mis is, of kan het ook gewoon toeval zijn omdat je testgroep toevallig meer mannelijke kandidaten had?

De Chi-Square Test vergelijkt wat je verwacht te zien (als alles eerlijk zou gaan) met wat je daadwerkelijk ziet. Hoe groter het verschil, hoe waarschijnlijker dat er een echt patroon zit — geen toeval.

Hoe werkt het in de praktijk?

Je telt eerst hoeveel keer iets voorkomt in verschillende groepen. Bijvoorbeeld:

• Je AI-chatbot krijgt 1000 vragen

• 600 keer geeft hij een goed antwoord, 400 keer niet

• Je wilt weten: doet hij het slechter bij vragen in dialect dan bij standaardtaal?

Dan maak je een tabel:

• Standaardtaal: 500 vragen → 350 goed, 150 fout

• Dialect: 500 vragen → 250 goed, 250 fout

De Chi-Square Test rekent uit: als de chatbot beide taalvarianten even goed zou begrijpen, zou je ongeveer 300 goede antwoorden per groep verwachten. Het verschil met de echte cijfers (350 vs 250) is flink. De test geeft een getal terug — en als dat getal hoog genoeg is, weet je: dit komt niet door toeval. Er zit echt een patroon.

Waarom zou jij hier iets aan hebben?

Als je een AI-systeem ontwikkelt of inkoopt, wil je weten of het eerlijk werkt. Discrimineert het bepaalde groepen? Werkt het slechter voor oudere gebruikers? Voor mensen met een accent?

De Chi-Square Test helpt je om die vragen objectief te beantwoorden — niet op basis van gevoel, maar op basis van data. Je kunt ermee aantonen dat een probleem echt bestaat (of juist dat er niks aan de hand is).

Ook handig: als je twee verschillende AI-modellen test en wilt weten of het ene echt beter presteert, of dat het verschil te klein is om betekenisvol te zijn.

Waar kom je het tegen?

De Chi-Square Test zelf is een wiskundige methode die je uitvoert met statistische software of programmeertalen zoals Python (met bibliotheken als SciPy of Pandas). Je gebruikt het vooral achter de schermen bij:

• Fairness-audits van AI-systemen: checken of een recruitmenttool, kredietbeoordelaar of gezichtsherkenningssysteem bepaalde groepen benadeelt

• A/B-testing: twee versies van een chatbot of aanbevelingssysteem vergelijken

• Onderzoek naar AI-bias: wetenschappers gebruiken het om aan te tonen dat een taalmodel stereotype antwoorden geeft

• Kwaliteitscontrole: checken of een classifier evenveel fouten maakt in verschillende categorieën

Je voert de test zelf niet uit in ChatGPT of Claude — maar als jij of je data-analist kijkt naar hoe eerlijk of accuraat je AI werkt, is dit een van de standaard-methodes.

Wat kun je er nu mee?

Als je verantwoordelijk bent voor AI in je organisatie: vraag bij leveranciers of implementaties naar de testresultaten. Zijn er Chi-Square Tests (of vergelijkbare statistische toetsen) uitgevoerd om eerlijkheid te checken? Zo niet, overweeg dan om dat zelf te laten doen door een data-analist.

Begrijp dat een "verschil" in prestaties tussen groepen niet automatisch betekent dat er iets mis is — het kan toeval zijn. En andersom: als een leverancier zegt "we zien geen probleem", vraag dan: is dat statistisch getoetst? De Chi-Square Test helpt je om van aannames naar bewijs te gaan.