Wat is Heatmap?

Wat is een heatmap eigenlijk?

Stel je voor dat je een foto laat zien aan een AI-model dat moet bepalen of er een kat op staat. Het model kijkt niet overal even goed — net zoals jij eerst naar de ogen, oren en snuit kijkt. Een heatmap maakt precies dat zichtbaar: het tovert de afbeelding om in een soort warmtebeeld, waarbij rode of gele plekken aangeven waar het model het meest naar keek, en blauwe of groene plekken waar het nauwelijks aandacht aan besteedde.

De naam komt van "heat" (warmte) en "map" (kaart): warme kleuren voor veel aandacht, koude kleuren voor weinig. Zo krijg je letterlijk een kleurenkaart van de focus van het model.

In de wereld van AI wordt dit vaak gebruikt om te begrijpen waarom een model een bepaalde beslissing nam. Classificeerde het een röntgenfoto als "verdacht" omdat het daadwerkelijk naar de tumor keek, of werd het afgeleid door een label in de hoek? Bij tekstmodellen werken heatmaps iets anders: dan zie je welke woorden in een zin het meest bijdroegen aan het antwoord.

Hoe werkt het eigenlijk?

Als een neuraal netwerk een afbeelding analyseert, geeft elk deel van het beeld een bepaalde "activatie" — een signaal dat aangeeft hoe belangrijk dat stukje is. Een heatmap visualiseert die activaties.

Bij beeldherkenning werkt het zo:

• Het model verwerkt de afbeelding in lagen

• Elke laag berekent welke gebieden belangrijk zijn voor de uiteindelijke voorspelling

• Die informatie wordt terugvertaald naar de originele afbeelding

• Het resultaat is een overlay van kleuren: rood/geel voor hoge activatie, blauw/groen voor lage

Populaire technieken hiervoor zijn Grad-CAM (Gradient-weighted Class Activation Mapping) en attention maps. Die eerste kijkt naar de gradiënten (de "helling" van berekeningen) in het netwerk, de tweede toont direct waar attention-mechanismen hun focus legden — vooral handig bij Transformers.

Bij tekstmodellen zie je bijvoorbeeld dat bij de zin "De kat zat op de mat" het woord "kat" helderder oplicht als het model een vervolgzin moet genereren over een dier.

Waarom zou jij hier iets aan hebben?

Heatmaps zijn vooral waardevol als je wilt snappen of een AI-model de juiste dingen ziet. Een paar praktische voorbeelden:

Medische AI: Als een model huidkanker moet detecteren, wil je zien dat het daadwerkelijk naar de moedervlek kijkt en niet naar de meetlat die een arts in beeld hield. Heatmaps hebben in echte gevallen onthuld dat modellen soms shortcuts nemen — zoals het herkennen van ziekenhuisapparatuur in plaats van symptomen.

Content moderatie: Als een model een afbeelding als "ongepast" markeert, toont een heatmap waar dat oordeel op gebaseerd is. Soms blijkt dat het model reageert op onschuldige achtergronden.

Marketing & design: Bij een analyse van productfoto's kun je zien waar klanten (of een AI die klantgedrag voorspelt) het eerst kijken. Dat helpt bij het optimaliseren van je visuele content.

Debugging van modellen: Als een model onverwachte fouten maakt, kan een heatmap laten zien dat het systematisch naar de verkeerde dingen kijkt — bijvoorbeeld naar watermerkjes of metadata in plaats van de inhoud.

Waar kom je het tegen?

Heatmaps zijn geen consumententool, maar je komt ze wel tegen in:

• AI-ontwikkeltools zoals TensorBoard, Weights & Biases, en diverse Python-bibliotheken (Captum, GradCAM)

• Medische AI-software waar radiologen willen verifiëren wat het model zag

• Computer vision-platforms voor productherkenning, gezichtsherkenning of kwaliteitscontrole

• Explainable AI (XAI) dashboards bij bedrijven die AI-beslissingen moeten kunnen verantwoorden

• Vision-modellen zoals GPT-4 Vision, Claude met vision, Gemini — deze hebben vaak ingebouwde attention-mechanismen die je kunt visualiseren, maar je hebt daar meestal wel toegang tot de onderliggende API of onderzoekstools voor nodig

Daarnaast zie je heatmaps regelmatig in wetenschappelijke papers over computer vision, als bewijs dat een nieuw model beter "kijkt" dan bestaande.

Beperkingen en nuances

Een heatmap is een vereenvoudiging. Het toont waar een model activatie heeft, maar dat betekent niet automatisch dat die plek ook de reden voor de beslissing is. Moderne neurale netwerken zijn complex — soms speelt de combinatie van verschillende gebieden een rol die niet in één kleurenkaart past.

Bovendien: verschillende heatmap-technieken geven soms verschillende resultaten. Grad-CAM werkt goed voor convolutional networks, maar voor Transformers heb je attention maps nodig. En bij generatieve modellen (zoals Stable Diffusion of DALL-E) zie je eerder welke delen van de prompt invloed hadden op welke gebieden van het plaatje — een ander soort heatmap.

Ga ermee aan de slag

Als je zelf met computer vision werkt (of wilt werken), zijn heatmaps onmisbaar bij het testen en verbeteren van je model. Ze helpen je bugs vinden die in accuracy-cijfers verstopt blijven — zoals een model dat 95% accuraat lijkt, maar dat komt doordat het stiekem camerastempels herkent in plaats van gezichten.

Voor niet-ontwikkelaars: als je AI inkoopt of implementeert voor visuele toepassingen (denk aan kwaliteitscontrole, medische diagnostiek, veiligheidsscans), vraag dan naar heatmaps of andere explainability-tools. Zo weet je zeker dat het model doet wat je denkt dat het doet — en niet iets totaal anders.