Wat is Deconvolution?

Wat is deconvolution eigenlijk?

Stel je voor dat je een foto hebt van 100x100 pixels en die wil vergroten naar 400x400 pixels. Een gewone vergroting maakt de foto wazig. Maar wat als je een slim algoritme hebt dat niet alleen vergroot, maar ook details bedenkt die er logisch uitzien? Dat is ongeveer wat deconvolution doet in een neuraal netwerk.

Deconvolution (ook wel transposed convolution of upsampling genoemd) is het omgekeerde van een convolutie. Waar een normale convolutie een afbeelding kleiner maakt en patronen herkent, maakt deconvolution een afbeelding juist groter en vult details in. Het netwerk leert tijdens training welke pixels het moet toevoegen om van een klein plaatje een groter, gedetailleerd plaatje te maken.

Denk aan het verschil tussen inzoomen op Google Maps (waarbij je meer detail ziet) en uitzoomen (waarbij details verdwijnen). Deconvolution is het inzoomen — maar dan slim, zodat het netwerk zelf bedenkt hoe die extra pixels eruitzien.

Hoe werkt het?

Bij een gewone convolutie schuift een filter over een afbeelding en comprimeert informatie. Bij deconvolution gebeurt precies het tegenovergestelde: het netwerk neemt een kleine representatie en spreidt die uit over een groter gebied. Het vult als het ware de gaten tussen pixels op met nieuwe pixels die passen bij het geleerde patroon.

Het netwerk leert dit door duizenden voorbeelden te zien van hoe kleine afbeeldingen eruitzien versus grote afbeeldingen. Na verloop van tijd wordt het steeds beter in het bedenken van realistische details.

Een veelvoorkomend probleem is het zogenaamde checkerboard-effect: soms krijg je een patroon van blokjes of schaakbordjes in de uitvoer. Dat gebeurt wanneer de deconvolution-operatie overlap creëert tussen pixels. Moderne architecturen gebruiken daarom vaak verfijndere technieken zoals pixel shuffle of simpelweg vergroten gevolgd door een gewone convolutie.

Een voorbeeld uit de praktijk

Een concrete toepassing: een AI die oude, lage-resolutie foto's opwaardeert. Je stopt er een korrelende zwart-witfoto van 200x200 pixels in, en het netwerk gebruikt deconvolution-lagen om die te vergroten naar 800x800 pixels — en voegt daarbij details toe zoals scherpere gezichtstrekken, textuur in kleding, of bladeren aan bomen die in het origineel slechts vage vlekken waren.

Een ander voorbeeld: medische beeldvorming. Een MRI-scan is vaak laag-resolutie vanwege scantijd en kosten. Met deconvolution kan een netwerk die scan verbeteren en artsen helpen subtiele afwijkingen te zien die anders misschien over het hoofd gezien zouden worden.

Waar kom je het tegen?

Deconvolution zit verweven in allerlei AI-systemen die afbeeldingen genereren of verbeteren:

• Beeldgeneratoren zoals Stable Diffusion, DALL-E, Midjourney — deze gebruiken deconvolution-achtige lagen om van een abstracte representatie naar een volledige afbeelding te gaan

• Video-upscaling in tools zoals Topaz Video AI of DaVinci Resolve — om SD-video naar 4K op te waarderen

• Gezichtsherkenning en -reconstructie — denk aan apps die oude familiefoto's herstellen

• Segmentatiemodellen in zelfrijdende auto's — die een klein feature-map omzetten naar een gedetailleerde kaart waarop elk object gelabeld is

• Generatieve netwerken (GANs) — waar de generator deconvolution gebruikt om realistisch ogende foto's te maken

In technische documentatie zie je soms de term transpose convolution of fractionally strided convolution — dat zijn synoniemen.

Wat kun je ermee?

Als je werkt met afbeeldingen of video en je wil dat een AI niet alleen herkent maar ook creëert, dan kom je deconvolution tegen. Het is een bouwsteen voor elke applicatie waarbij je van klein naar groot gaat: van een samengevatte representatie naar een gedetailleerd eindresultaat. Denk aan het herstellen van oude foto's, het genereren van kunst, het verbeteren van medische scans, of het opwaarderen van video's.

Begrijp je hoe convolutie werkt, dan snap je deconvolution: het is gewoon de andere kant op. En dat maakt het tot een onmisbaar gereedschap in de gereedschapskist van moderne AI.