Wat is Saliency Map?

Waar kijkt die AI eigenlijk naar?

Stel je voor: je uploadt een foto van een hond naar een AI-app, en het model zegt "dit is een golden retriever". Maar hoe kwam het daar zo zeker van? Keek het naar de kop, de vacht, of toch die bal op de achtergrond? Een saliency map geeft antwoord op die vraag.

Het is een soort heatmap — een overlay over je originele plaatje — waarbij warme kleuren (rood, oranje) aangeven waar het model zijn aandacht op richtte, en koude kleuren (blauw, groen) de stukken zijn die nauwelijks meewogen. Technisch gezien meet je per pixel hoe sterk een verandering daar de uitkomst van het model zou beïnvloeden. Pixels die er veel toe doen, krijgen een hoge score.

Hoe werkt het eigenlijk?

Een neural network maakt voorspellingen op basis van patronen in pixels. Met een saliency map bereken je voor elk pixel: "als ik dit pixel een tikkeltje zou veranderen, hoe hard schommelt dan de voorspelling van het model?" Dat doe je door de gradiënt te berekenen — de wiskundige helling die aangeeft hoe gevoelig de output is voor dat specifieke stukje input.

Denk aan een thermometer: als je de temperatuur meet op verschillende plekken in een kamer, zie je waar de warmtebron zit. Net zo zie je bij een saliency map waar de "belangrijkheidsbron" zit in een plaatje.

Er zijn verschillende methodes om zo'n map te maken:

• Gradient-based: de klassieke aanpak, kijkt naar de steilheid van de foutfunctie

• CAM (Class Activation Mapping): wijst activatie toe aan bepaalde regio's, vooral bij CNN's

• Integrated Gradients: stapelt kleine veranderingen op om een stabieler beeld te krijgen

• LIME en SHAP: technieken die lokaal uitleggen welke features ertoe doen

Elke methode heeft zijn eigen interpretatie, maar het doel is hetzelfde: transparantie.

Waarom zou jij hier iets aan hebben?

In situaties waar je wilt weten of een AI wel naar de juiste dingen kijkt, is een saliency map goud waard. Denk aan:

• Medische diagnostiek: een radioloog wil checken of een AI die een tumor detecteert écht naar de tumor kijkt, en niet naar een stempel of watermark in de hoek van de scan

• Zelfrijdende auto's: je wil zien of de auto een voetganger herkent door zijn silhouet, of door de zebrapad-strepen eromheen

• Contentmoderatie: bij automatische filtering van ongepaste beelden kun je controleren of het model reageert op daadwerkelijk problematische content, of op irrelevante achtergronddetails

• Productontwikkeling: als je een kwaliteitscontrole-AI traint, wil je weten of die echt naar krassen kijkt, of naar de serienummersticker

Het is dus vooral een controlemiddel: het helpt je ontdekken wanneer een model shortcuts neemt of zich laat misleiden door onbedoelde patronen in de trainingsdata.

Een voorbeeld uit de praktijk

Een verzekeringsmaatschappij trainde een model om schade aan auto's te herkennen op foto's. Het model scoorde hoog in tests, maar toen ze saliency maps bekeken, bleek het vooral te letten op de achtergrond: claims met foto's gemaakt in een bepaalde werkplaats werden vaker goedgekeurd. Het model had geleerd: "werkplaats X = echte schade", in plaats van daadwerkelijk naar de deuk of kras te kijken.

Dankzij de saliency map ontdekten ze die fout vóór het model live ging. Ze trainden opnieuw met meer variatie in achtergronden, en het probleem verdween.

Waar kom je het tegen?

Saliency maps zijn ingebouwd in tools voor explainable AI (XAI). Je vindt ze in:

• Google Cloud's Explainable AI: analyseert je computer vision-modellen

• Microsoft Azure's Interpretability Toolkit: biedt visualisaties voor model-beslissingen

• Captum (PyTorch-bibliotheek): ondersteunt allerlei interpretability-technieken

• LIME en SHAP: open-source Python-bibliotheken die ook saliency-achtige visualisaties maken

• Specialized medical AI platforms: radiologie- en pathologie-tools tonen vaak heatmaps bij diagnoses

Daarnaast zie je het in academisch onderzoek en bij bedrijven die AI-systemen willen auditen of certificeren.

Wat kun je er nu mee?

Als je zelf AI-modellen bouwt of inkóópt, vraag dan om saliency maps bij cruciale beslissingen. Het geeft je een snelle gezondheidscheck: kijkt het model naar wat jij verwacht, of zit er een onzichtbare bias in? Voor eindgebruikers is het meestal abstract, maar voor ontwikkelaars en auditors is het een onmisbaar gereedschap om black-box AI een stukje doorzichtiger te maken.