Data, evaluatie & metrics

Een verbeterde versie van R-Squared die rekening houdt met het aantal variabelen in je model, zodat je beter kunt zien of extra data je voorspelling echt beter maakt of alleen maar ingewikkelder.

Een getal tussen -1 en 1 dat aangeeft hoe goed een AI twee groepen objecten op dezelfde manier indeelt als een menselijke expert — rekening houdend met toeval.

Het percentage voorspellingen dat een AI-model goed heeft. Bij 100 classificaties waarvan 85 kloppen, is de accuracy 85%. Klinkt simpel, maar zegt niet altijd het hele verhaal.

Hoe goed de zekerheid die een AI-model uitspreekt ('ik ben 90% zeker') daadwerkelijk klopt met de werkelijkheid. Een goed gekalibreerd model zegt niet overmoedig 'ja' of angstig 'misschien'.

De mate waarin voorspellingen die een AI als 'positief' aanmerkt, ook daadwerkelijk positief zijn — oftewel: hoe betrouwbaar is de AI als ze 'ja' zegt?

Recall meet hoeveel van alle relevante dingen een AI-model daadwerkelijk vindt. Hoog recall betekent: weinig gemist, maar mogelijk ook vals alarm.

Het handmatig labelen van data zodat een AI-model kan leren wat het moet herkennen — zoals het plakken van post-its op foto's met 'dit is een kat' of 'dit is een hond'.

Een afwijking in data die niet past bij het verwachte patroon — denk aan een plotselinge piek in je verkoopcijfers of een vreemde transactie die er niet hoort.

AUC (Area Under the Curve) meet hoe goed een AI-model onderscheid maakt tussen twee groepen — bijvoorbeeld echte en nepberichten. Hoe dichter bij 1, hoe beter het model.

Een score die meet hoe goed voorspellingen van een AI-model matchen met wat er echt gebeurt — hoe dichter bij 0, hoe beter de voorspelling klopt.

Een meetinstrument dat aangeeft hoe goed een clustering-algoritme data in groepen heeft verdeeld — hoe hoger de score, hoe duidelijker de groepen van elkaar gescheiden zijn.

Een verzameling van 60.000 kleine plaatjes (32×32 pixels) verdeeld over 10 categorieën, die AI-onderzoekers gebruiken om te testen hoe goed hun beeldherkenningsmodellen werken.

Het probleem dat je AI-model veel meer voorbeelden heeft van het ene type situatie dan van het andere — waardoor het vaak alleen leert herkennen wat het het vaakst ziet.

Een veelgebruikte verzameling van ruim 330.000 foto's met gelabelde objecten, die AI-modellen helpt om te leren herkennen wat er op een afbeelding staat — van stoelen tot zebra's.

Een statistisch getal dat meet hoe goed twee beoordelaars het met elkaar eens zijn — rekening houdend met toeval. Gebruikt bij het checken of AI-labels betrouwbaar zijn.

Een gigantische openbare verzameling van miljarden webpagina's die maandelijks wordt bijgewerkt en vaak als trainingsdata voor AI-modellen dient.

Wanneer de werkelijkheid waarop je AI-model getraind is langzaam verandert, waardoor voorspellingen steeds minder kloppen — zoals een routeplanner die vastloopt door nieuwe verkeersregels.

Een overzichtelijke tabel die laat zien hoe vaak een AI-model het goed of fout voorspelt — handig om te zien waar het model precies de mist in gaat.

Een methode om AI-modellen te leren dat vergelijkbare dingen dicht bij elkaar horen en verschillende dingen ver uit elkaar — zoals het sorteren van foto's op basis van gelijkenis.

Situatie waarbij de kenmerken van je data na verloop van tijd veranderen, waardoor een AI-model dat op oude data is getraind niet meer goed werkt op nieuwe situaties.

Coverage is de mate waarin je testdata alle mogelijke situaties uit de echte wereld vertegenwoordigt — een soort dekking die bepaalt of je AI-model goed voorbereid is op alles wat het tegenkomt.

Kunstmatig uitbreiden van je trainingsdataset door bestaande voorbeelden aan te passen — zodat je AI-model meer variatie ziet en beter leert generaliseren.

Een overzichtelijk register van alle datasets in een organisatie, zodat je snel vindt welke data waar ligt, wat erin zit en wie ervoor verantwoordelijk is.

Het verschijnsel dat de gegevens waarop een AI-model is getraind na verloop van tijd niet meer lijken op de nieuwe data uit de echte wereld, waardoor de voorspellingen minder betrouwbaar worden.

Het handmatig of geautomatiseerd voorzien van data van labels of tags, zodat AI-modellen kunnen leren herkennen wat ze zien. Zoals het sorteren van foto's in mappen 'kat' en 'hond'.

Een flexibele opslag voor grote hoeveelheden ruwe data in allerlei formaten — van spreadsheets tot video's — zonder dat je van tevoren structuur hoeft aan te brengen.

Wanneer een AI-model stiekem informatie uit de testdata al tijdens de training heeft gezien, waardoor het bij een toets vals speelt — net als een student die de examenvragen van tevoren kent.

Het volgen van de herkomst en het pad van data: waar het vandaan komt, hoe het is bewerkt en waar het naartoe gaat — vergelijkbaar met een stamboom voor je trainingsdata.

De reeks stappen die data doorloopt — van ruwe bron tot bruikbaar eindproduct. Zoals een productielijn, maar dan voor informatie.

De betrouwbaarheid en bruikbaarheid van data die je gebruikt om AI-modellen te trainen of beslissingen mee te nemen. Slechte datakwaliteit leidt tot onbetrouwbare AI-outputs.

Het bijhouden van verschillende versies van je data, zodat je precies weet welke data je wanneer gebruikte voor een AI-model — net zoals versiecontrole voor code.

Een centrale opslagplek waar een organisatie al haar data uit verschillende systemen samenbrengt, zodat je het grote plaatje kunt zien en slimme analyses kunt doen.

Een getal dat aangeeft hoe goed een clustering-algoritme data in groepen heeft verdeeld — hoe lager de score, hoe beter gescheiden de clusters zijn.

Een maatstaf die checkt of een AI-systeem even vaak een positieve beslissing neemt voor alle demografische groepen — los van of die beslissingen ook echt kloppen.

Een getal tussen 0 en 1 dat aangeeft hoe goed twee verzamelingen overeenkomen — bijvoorbeeld om te meten hoe goed een AI-model iets heeft gesegmenteerd.

Wanneer de data waar een AI-model mee getraind is, anders is dan de data die het in de praktijk tegenkomt — waardoor voorspellingen minder betrouwbaar worden.

Extract, Transform, Load — het proces waarin je ruwe data uit verschillende bronnen haalt, opschoont en bruikbaar maakt, zodat AI-modellen ermee kunnen werken.

Een maat om te checken of een AI-model niet alleen goed voorspelt, maar ook eerlijk aangeeft hoe zeker het is — cruciaal voor risicovolle beslissingen.

Het verkennen en visualiseren van data voordat je een AI-model gaat trainen — om patronen te ontdekken, fouten op te sporen en te begrijpen wat je eigenlijk in handen hebt.

Een manier om te meten hoe goed een AI-model werkt, waarbij je zelf kunt kiezen of je meer waarde hecht aan het vinden van álle relevante gevallen of juist aan het vermijden van fouten.

Een getalletje dat aangeeft hoe goed een AI-model presteert door zowel nauwkeurigheid als volledigheid mee te wegen — handig als je wilt weten of je model niet alleen goede voorspellingen doet, maar ook geen belangrijke dingen mist.

Een meetinstrument om te checken of een AI-systeem verschillende groepen mensen gelijk behandelt, zodat je discriminatie of ongelijkheid kunt opsporen.

Een situatie waarin een AI-model iets mist dat er wel is — bijvoorbeeld een zieke patiënt die als gezond wordt geclassificeerd, of een spam-mail die in je inbox belandt.

Een false positive is wanneer een AI-systeem iets verkeerd identificeert als waar, terwijl het dat niet is — zoals een spamfilter die een belangrijke e-mail blokkeert.

Een centrale opslagplek waar alle kenmerken (features) voor AI-modellen netjes georganiseerd staan, zodat verschillende teams dezelfde data kunnen hergebruiken zonder telkens opnieuw te moeten verzamelen.

Een slimme berekeningstruc die ervoor zorgt dat een AI-model meer aandacht geeft aan moeilijke voorbeelden tijdens het leren, in plaats van simpele gevallen steeds opnieuw te herhalen.

Een verzameling van negen tekstbegriptaken waarmee je kunt testen hoe goed een taalmodel Nederlands (of Engels) snapt — zoals het herkennen van dubbelzinnigheid of het trekken van logische conclusies.

Een referentie-dataset van handmatig geverifieerde, correcte antwoorden waartegen AI-modellen worden getest om te zien hoe goed ze presteren.

De feitelijk correcte informatie waarmee je controleert of een AI-model het goed doet — zoals het antwoordenboekje bij een toets.

Een rekenmethode die meet hoe goed een AI-model onderscheid maakt tussen categorieën, waarbij fouten worden afgestraft op basis van hoeveel ze ernaast zitten.