Wat is Normalized Mutual Information?

Wat meet je hiermee eigenlijk?

Stel je voor: je hebt honderden foto's van dieren, en je wilt ze automatisch laten sorteren in groepjes. Een AI-model maakt vijf stapels: A, B, C, D en E. Maar jij weet dat er eigenlijk maar drie diersoorten in de set zitten: katten, honden en konijnen.

De vraag is nu: hoe goed komen die AI-stapels overeen met de echte diersoorten? Zitten alle katten netjes in stapel A? Of zitten ze verspreid over meerdere stapels?

Normalized Mutual Information — kortweg NMI — is een getal tussen 0 en 1 dat precies dat meet:

• 1,0 betekent: perfecte match. Elke AI-stapel bevat precies één diersoort, en elk dier zit in de juiste stapel.

• 0,0 betekent: de AI-stapels zeggen niets over de echte groepen. Je had net zo goed willekeurig kunnen sorteren.

• Ergens ertussenin betekent: er zit enige overlap, maar het is niet perfect.

Het slimme is dat NMI niet beïnvloed wordt door hoe je de groepen noemt. Of je stapel A nu "katten" noemt of "groep 1" — het getal blijft hetzelfde. Het kijkt alleen naar de structuur van de groepering.

Hoe werkt het eigenlijk?

NMI kijkt naar de informatieoverlap tussen twee indelingen:

• Hoeveel nieuwe informatie krijg je als je weet in welke AI-stapel iets zit?

• Helpt dat om te voorspellen in welke échte groep dat ding hoort?

Denk aan een puzzel: als de AI-stapels willekeurig zijn, leer je niets. Als ze perfect zijn, weet je meteen het antwoord. NMI vertaalt die "hoeveelheid geleerde informatie" naar een score tussen 0 en 1.

Het werkt op basis van kansberekeningen: het telt hoe vaak bepaalde combinaties voorkomen (bijvoorbeeld: hoe vaak zit een kat in stapel A?), en vergelijkt dat met wat je zou verwachten bij een willekeurige verdeling.

De "normalized" in de naam betekent dat de score gecorrigeerd is voor toeval — zodat je eerlijk kunt vergelijken tussen datasets met verschillende groottes of aantallen groepen.

Waarom zou jij hier iets aan hebben?

NMI is vooral handig bij unsupervised learning — dus wanneer een AI zelfstandig patronen zoekt zonder vooraf gelabelde voorbeelden.

Denk aan:

• Klantsegmentatie: je AI vindt zes klanttypes. Komen die overeen met de vijf doelgroepen die jouw marketingteam al kent?

• Documentclustering: nieuwsartikelen automatisch sorteren op onderwerp. Hoe goed matcht dat met de echte categorieën (sport, politiek, economie)?

• Biologie: genen groeperen op basis van hun gedrag. Komen die groepen overeen met bekende biologische functies?

Het voordeel van NMI ten opzichte van simpelweg "percentage correct" is dat het ook werkt als je clustering meer of minder groepen heeft dan de echte indeling. Je hoeft niet van tevoren te weten hoeveel clusters er precies moeten zijn.

Waar kom je het tegen?

In de praktijk gebruik je NMI vaak niet handmatig — het zit ingebakken in tools:

• Scikit-learn (Python-library voor machine learning) heeft een normalized_mutual_info_score-functie

• Orange (visuele data science-tool) toont NMI bij clustering-analyses

• KNIME (data analytics platform) biedt NMI als evaluatiemetriek

• RapidMiner heeft NMI in de performance-evaluatie voor clustering

• MATLAB bevat de functie in de Statistics and Machine Learning Toolbox

Als je met clustering werkt, zie je NMI vaak naast andere metrics zoals Adjusted Rand Index of Silhouette Score — elk belicht een ander aspect van hoe goed je clusters zijn.

Eén belangrijke kanttekening

NMI heeft één beperking: je hebt de échte labels nodig om te kunnen meten. Bij echte unsupervised learning — bijvoorbeeld een AI die zelfstandig patronen zoekt in volkomen onbekende data — kun je NMI dus niet gebruiken. Dan heb je andere metrics nodig die clusters beoordelen zonder referentie.

Maar zodra je wél referentiedata hebt — bijvoorbeeld een testset waar je de antwoorden kent — is NMI een van de meest betrouwbare manieren om te checken of je clustering iets nuttigs oplevert.

Wat kun je er nu mee?

Als je een AI-model traint dat data automatisch moet groeperen, vraag dan aan je data scientist of developer: "Wat is de NMI-score van deze clustering?" Een score boven 0,7 betekent meestal dat er een sterke overlap is met de échte structuur in je data. Onder de 0,3 is het clustering vaak niet veel beter dan raden.

Begrijp je de score, dan kun je beter beslissen of je model klaar is voor productie — of dat er nog flink geschaafd moet worden aan de instellingen.