Wat is AI Auditability?

Wat is AI Auditability eigenlijk?

Stel je voor: je bedrijf gebruikt een AI-systeem dat sollicitanten beoordeelt. Plots blijkt dat vrouwelijke kandidaten systematisch lager scoren. Hoe kom je erachter wat er mis ging? Daar komt AI Auditability om de hoek kijken.

AI Auditability betekent letterlijk: de mate waarin je een AI-systeem kunt controleren. Net zoals een accountant door je boekhoudprogramma heen kan om te checken of alles klopt, moet je bij een AI-systeem kunnen nagaan wat het deed, waarom het die beslissing nam, en of het zich aan de regels hield.

Het gaat om drie dingen tegelijk:

• Kun je reconstrueren wat het systeem deed? (logbestanden, beslissingsgeschiedenis)

• Kun je uitleggen waarom het die keuze maakte? (was het een patroon in de trainingsdata? een fout in de code?)

• Kun je bewijzen dat het voldeed aan regels en normen? (privacy, gelijkheid, veiligheid)

Zonder auditability is een AI-systeem een zwarte doos — je ziet wat erin gaat, wat eruit komt, maar niet wat ertussen gebeurt.

Waarom zou jij hier iets aan hebben?

AI-systemen nemen steeds meer beslissingen die impact hebben: wie krijgt een lening, welke patiënt heeft spoed nodig, welke cv's komen door de eerste ronde. Als zo'n systeem een fout maakt — of erger: structureel discrimineert — moet je kunnen achterhalen wat er mis ging.

Praktische redenen om auditability serieus te nemen:

• Juridisch: de EU AI Act verplicht straks bij bepaalde AI-toepassingen (hoogrisico) dat je kunt aantonen hoe het systeem werkt. Geen audit mogelijk = geen toestemming.

• Reputatie: als je AI-chatbot racistische teksten genereert, wil je kunnen uitleggen hoe dat kon en wat je eraan doet.

• Verbetering: alleen als je kunt analyseren waar het fout ging, kun je het systeem beter maken.

• Vertrouwen: klanten, medewerkers en toezichthouders vertrouwen je meer als je transparant kunt zijn over hoe je AI werkt.

In sectoren zoals financiën, zorg en rechtspraak is controleerbaarheid geen luxe meer — het is een voorwaarde om überhaupt met AI aan de slag te mogen.

Hoe werkt het eigenlijk?

AI Auditability is geen enkele techniek, maar een combinatie van maatregelen:

Logging en traceability Het systeem houdt bij: welke input kreeg het, welke beslissing nam het, op welk moment, met welke dataversie, welk model. Net zoals een kassasysteem elke transactie registreert. Zonder logbestanden kun je achteraf niets meer reconstrueren.

Explainability Het systeem kan uitleggen waarom het een bepaalde beslissing nam. Bij een simpel beslisboom is dat makkelijk ("als leeftijd > 30 EN inkomen > 50k, dan..."😀. Bij complexe neurale netwerken moet je extra tools inzetten (zoals SHAP of LIME) die achteraf kunnen aangeven welke factoren het zwaarst wogen.

Documentatie Alle keuzes tijdens ontwikkeling zijn vastgelegd: welke trainingsdata, welke aannames, welke tests, welke risico's zijn afgewogen. Net zoals bij medicijnontwikkeling: elk experiment gedocumenteerd, zodat toezichthouders het kunnen natrekken.

Toegangscontrole en versiebeheer Wie mocht wat aanpassen? Welke versie van het model draaide er op 15 maart? Als iemand achteraf het model heeft gewijzigd zonder documentatie, is je audit waardeloos.

Bij elkaar zorgen deze lagen ervoor dat je als een detective door het systeem heen kunt: van klacht naar oorzaak.

Een voorbeeld uit de praktijk

Een zorgverzekeraar gebruikt AI om te bepalen welke declaraties extra controle krijgen. Op een dag klaagt een patiëntenorganisatie: mensen met een psychische aandoening worden vaker gecontroleerd, terwijl dat wettelijk niet mag.

Met goede auditability kan de verzekeraar:

1. In de logs zien: welke declaraties kregen een "extra controle"-vlag, en wanneer?

2. Via explainability-tools achterhalen: welke factoren wogen mee? Blijkt dat "aantal afspraken per maand" zwaar meetelde — en dat mensen met psychische zorg nou eenmaal vaker op consult gaan.

3. In de documentatie checken: stond dit risico op de lijst? (Ja, maar werd onderschat.)

4. Het model aanpassen: die factor lager wegen of vervangen door een betere indicator.

5. Aan de toezichthouder bewijzen: dit was het probleem, dit hebben we gedaan, zo voorkomen we herhaling.

Zonder auditability had de verzekeraar alleen kunnen zeggen: "De AI deed het, we weten niet waarom."

Waar kom je het tegen?

AI Auditability is nog geen standaard everywhere, maar je ziet het steeds meer:

• Compliance-tools zoals Fiddler AI, Holistic AI en Arthur.ai helpen bedrijven hun AI-systemen te monitoren en te auditeren.

• Cloud-platformen (Azure Machine Learning, AWS SageMaker, Google Vertex AI) bieden ingebouwde logging en model-governance.

• Open-source explainability-bibliotheken zoals SHAP, LIME en InterpretML maken het mogelijk om complexe modellen te analyseren.

• Bedrijfsinterne AI-governance teams die processen opzetten: hoe documenteren we? Wie mag modellen aanpassen? Hoe vaak toetsen we?

• Keurmerken en certificeringen (bv. ISO/IEC 42001 voor AI-management) stellen eisen aan auditeerbaarheid.

In sectoren met veel regelgeving (banken, zorg, overheid) is het al een vast onderdeel van het ontwikkelproces.

Wat kun je er nu mee?

Of je nu zelf AI bouwt, inkoopt of gewoon gebruikt: controleerbaar zijn is geen technisch detail, het is een verantwoordelijkheid. Stel bij elk AI-project de vraag: als dit misgaat, kunnen we dan achterhalen wat er gebeurde? Als het antwoord "nee" is, ben je kwetsbaar.

Begin simpel: zorg dat je logs hebt, documenteer je keuzes, en maak afspraken over wie wat mag aanpassen. Auditability bouw je niet achteraf in — het begint bij de eerste regel code.