Wat is Vision Transformer?

Wat is een Vision Transformer?

Stel je voor dat je een puzzel maakt. Waar je vroeger eerst alle hoekstukjes zocht en daarna de randen, ga je nu anders te werk: je kijkt naar alle stukjes tegelijk en let vooral op welke stukjes iets met elkaar te maken hebben. Dat is in essentie wat een Vision Transformer doet met afbeeldingen.

Een Vision Transformer — vaak afgekort als ViT — is een type neuraal netwerk dat plaatjes analyseert op een radicaal andere manier dan we dat jarenlang deden. In plaats van pixel voor pixel door een foto te 'scrollen' (zoals oudere modellen deden), hakt een ViT het beeld eerst in kleine vierkante blokjes. Elk blokje wordt een 'patch' genoemd. Die patches worden vervolgens allemaal tegelijk bekeken, waarbij het model vooral let op: welke patches hangen met elkaar samen? Welke patches zijn belangrijk voor het begrijpen van het hele plaatje?

Deze aanpak komt rechtstreeks uit de wereld van taalmodellen. Daar werkt het zo: als je de zin "De kat zit op de mat" analyseert, moet je begrijpen dat "kat" en "zit" en "mat" allemaal met elkaar te maken hebben. Vision Transformers passen diezelfde truc toe op beelden.

Hoe werkt het eigenlijk?

Het begint met het opknippen van je afbeelding. Een foto van bijvoorbeeld 224×224 pixels wordt opgedeeld in patches van 16×16 pixels. Dat levert 196 blokjes op. Elk blokje krijgt een nummer en wordt omgezet naar een rijtje getallen — een representatie die het model kan begrijpen.

Vervolgens gebeurt het interessante deel: het model gebruikt iets wat 'self-attention' heet (zelf-aandacht). Dat betekent dat elke patch naar alle andere patches kijkt en zich afvraagt: "Hoe belangrijk is die andere patch voor het begrijpen van mij?" Een patch met een stukje hondenoor kijkt bijvoorbeeld naar andere patches en merkt op: "O, die patch rechts bevat ook hondenvacht — die is relevant!"

Dit proces gebeurt in meerdere lagen, waarbij het model steeds complexere verbanden leert zien. De eerste lagen herkennen simpele dingen zoals randen en kleuren. Diepere lagen combineren die informatie tot begrippen zoals "oog", "poot" of "gezicht".

Waarom is dit anders dan wat we eerder hadden?

Voor Vision Transformers gebruikten we vooral Convolutional Neural Networks (CNN's) voor beeldherkenning. Die werken met kleine 'filters' die als een raster over het beeld schuiven. Dat werkt prima, maar heeft een beperking: zo'n filter kijkt maar naar een klein stukje van het beeld tegelijk. Om het hele plaatje te zien, moet je vele lagen stapelen.

Een Vision Transformer kan in principe meteen het hele beeld overzien. Elke patch kan direct 'praten' met elke andere patch. Dat maakt het model beter in het herkennen van grote patronen en contextuele verbanden.

Een voorbeeld: stel dat je een foto analyseert van een hond die een frisbee vangt. Een CNN moet via vele tussenstappen begrijpen dat de hond en de frisbee bij elkaar horen. Een ViT kan die relatie veel directer leggen — de patch met de hondenkop 'ziet' meteen de patch met de frisbee erboven.

Waar kom je het tegen?

Vision Transformers zitten inmiddels in allerlei praktische toepassingen:

• Beeldzoekmachines zoals Google Lens of Pinterest Visual Search gebruiken ViT-achtige modellen om te begrijpen wat er in foto's staat

• Medische beeldanalyse — bijvoorbeeld het detecteren van afwijkingen op röntgenfoto's of MRI-scans

• Zelfrijdende auto's die moeten begrijpen wat er om hen heen gebeurt (voetgangers, verkeersborden, andere auto's)

• Gezichtsherkenning in beveiligingssystemen of foto-apps die automatisch personen taggen

• Content moderatie op sociale media, waar geautomatiseerd ongepaste beelden worden gefilterd

Bekende voorbeelden van Vision Transformer-modellen zijn:

• ViT (Google) — het oorspronkelijke Vision Transformer-model uit 2020

• Swin Transformer (Microsoft) — een variant die efficiënter omgaat met grote afbeeldingen

• DINOv2 (Meta) — een model dat zonder labels leert van miljarden afbeeldingen

• CLIP (OpenAI) — combineert Vision Transformers met taalmodellen om afbeeldingen en tekst te koppelen

Veel generatieve AI-modellen zoals DALL·E, Midjourney en Stable Diffusion gebruiken ook Transformer-componenten in hun beeldverwerking.

Wat zijn de praktische voor- en nadelen?

Voordelen:

• Beter in het begrijpen van context en grote verbanden in beelden

• Flexibeler — je kunt hetzelfde architectuurprincipe gebruiken voor beelden, tekst én geluid

• Presteert vaak beter dan CNN's als je maar genoeg trainingsdata hebt

Uitdagingen:

• Vraagt véél trainingsdata — waar een CNN met duizenden voorbeelden al goed werkt, heeft een ViT er vaak miljoenen nodig

• Rekenkracht — het verwerken van alle patch-relaties kost veel processorkracht

• Minder intuïtief te debuggen — het is lastiger om te zien 'waarom' het model een bepaalde conclusie trekt

Waar gaat het naartoe?

Vision Transformers zijn nog relatief jong — het eerste invloedrijke paper verscheen pas in 2020 ("An Image is Worth 16x16 Words" van Dosovskiy et al., Google Research). Maar ze winnen snel terrein. Onderzoekers werken aan efficiëntere varianten die minder data en rekenkracht nodig hebben.

Een interessante ontwikkeling is dat Vision Transformers steeds vaker worden gecombineerd met taalmodellen — bijvoorbeeld in multimodale AI die zowel plaatjes als tekst begrijpt. Denk aan systemen die kunnen uitleggen wat er in een foto gebeurt, of die op basis van een beschrijving precies het juiste beeld kunnen genereren.

Als je met beeldherkenning werkt, loont het om Vision Transformers in je gereedschapskist te hebben. Ze zijn niet voor élke situatie de beste keuze — soms is een klassiek CNN sneller of efficiënter — maar voor complexe taken waarbij context belangrijk is, bieden ze krachtige mogelijkheden. Wil je ermee experimenteren? Kijk dan eens naar open-source bibliotheken zoals Hugging Face Transformers of TensorFlow, waar je voorgetrainde Vision Transformer-modellen kunt downloaden en aanpassen voor je eigen toepassing.