Wat is Statistical Significance?

Wat betekent dit eigenlijk?

Stel je voor: je test twee AI-modellen om klantvragen te beantwoorden. Model A scoort 82% correct, model B 85%. Lijkt model B beter, toch? Maar wat als dat verschil van 3% gewoon toeval is — alsof je drie keer op rij kop gooit en denkt dat de munt krom is?

Statistische significantie geeft aan hoe zeker je kunt zijn dat een verschil écht bestaat en niet gewoon pech of geluk is. Het is een meetlat uit de statistiek die zegt: "Dit resultaat is zo opvallend dat het waarschijnlijk niet toevallig is."

In AI-onderzoek en -ontwikkeling wordt dit voortdurend gebruikt. Onderzoekers willen weten: presteert dit nieuwe model echt beter, of lijkt het alleen maar zo omdat we toevallig een handjevol voorbeelden hebben getest waar het goed op scoorde?

Hoe werkt het eigenlijk?

De kern draait om een getal: de p-waarde. Die geeft aan hoe groot de kans is dat je dit resultaat zou zien als er in werkelijkheid géén verschil zou zijn.

Een voorbeeld uit de keuken: je test een nieuw recept en vraagt tien mensen of het lekkerder is dan het oude recept. Acht van de tien zeggen ja. Is dat toeval? De p-waarde helpt je daar een inschatting van maken.

In de praktijk geldt vaak: als de p-waarde onder de 0,05 ligt (dat is 5%), noemen we het resultaat statistisch significant. Dat betekent: de kans dat dit puur toeval is, is kleiner dan 1 op 20. Niet waterdicht, maar wel een redelijke indicatie.

Bij AI-modellen test je bijvoorbeeld:

• Presteert dit model significant beter op een testset?

• Is de nauwkeurigheid echt verbeterd na extra training?

• Maakt een bepaalde aanpassing in de architectuur echt verschil?

Waarom zou jij hier iets aan hebben?

Als je AI inzet in je bedrijf of organisatie, wil je weten of iets écht werkt. Niet alleen: "Het voelt beter." Statistische significantie helpt je om:

• Investeringen te rechtvaardigen: als een nieuw model significant beter scoort, kun je dat onderbouwen

• Valse hoop te vermijden: soms lijkt iets beter, maar is het verschil te klein of te onzeker — dan gooi je misschien geld weg aan een upgrade die niks oplevert

• Eerlijk te vergelijken: leveranciers claimen vaak "verbeteringen" — met statistische toetsing kun je checken of dat klopt

Het is ook belangrijk om te weten dat statistische significantie niet hetzelfde is als praktische relevantie. Een verschil kan statistisch significant zijn (dus niet toevallig), maar zo klein dat het in de praktijk niet uitmaakt. Andersom: een groot verschil kan niet-significant zijn als je te weinig getest hebt.

Een voorbeeld uit de praktijk

Een webshop test twee chatbots voor klantenservice. Bot A heeft 1.000 gesprekken gevoerd, Bot B ook. Bot A lost 78% van de vragen op, Bot B 81%. Het verschil lijkt klein, maar bij duizend gesprekken kun je met statistische toetsing uitrekenen dat dit waarschijnlijk geen toeval is — de p-waarde blijkt 0,02. Dat betekent: slechts 2% kans dat dit verschil door toeval komt. De webshop besluit Bot B uit te rollen.

Ook in wetenschappelijk AI-onderzoek is dit cruciaal. Papers die nieuwe modellen presenteren, laten vaak zien dat hun resultaten statistisch significant beter zijn dan eerdere benaderingen. Zonder die toets zou je niet weten of je vooruitgang ziet of gewoon ruis.

Waar kom je het tegen?

Statistische significantie komt vooral voor bij:

• A/B-testen van AI-systemen (twee versies vergelijken)

• Wetenschappelijke papers over nieuwe AI-modellen — kijk naar tabellen met resultaten en sterretjes of p-waardes

• Benchmarks en evaluaties — vergelijkingen tussen modellen op standaard datasets

• Experimentele tools voor model-evaluatie, zoals weights & biases, MLflow, of scikit-learn (voor data scientists)

Je hoeft de wiskunde er niet achter te snappen om het principe te gebruiken. Vraag bij evaluaties altijd: "Is dit verschil statistisch significant getest?" Zo voorkom je dat je conclusies trekt op basis van toeval.

Wat kun je er nu mee?

Als je AI-projecten evalueert of aanbiedingen vergelijkt, wees dan kritisch op claims zonder statistische onderbouwing. Een leverancier die zegt "ons model scoort 3% beter" zonder te melden hoe groot de testset was of wat de p-waarde is, vertelt je eigenlijk niks.

Begrijp dat significantie niet hetzelfde is als zekerheid — het verkleint alleen de kans op toeval. En onthoud: een significant verschil hoeft niet altijd groot genoeg te zijn om in de praktijk uit te maken. Combineer statistische toets met gezond verstand en praktische relevantie.