Wat is Activation Function?

Wat is een activation function?

Stel je voor: je brein bestaat uit miljarden neuronen die elkaar berichten sturen. Maar niet elk signaal dat binnenkomt, wordt meteen doorgestuurd. Elke hersencel maakt een keuze: is dit signaal sterk genoeg? Zo ja, dan geef ik het door. Zo nee, dan niet.

Precies dat doet een activation function in een neuraal netwerk. Het is een wiskundige functie die na elke berekening bepaalt: gaat dit signaal door naar de volgende laag, en zo ja, hoe sterk?

Zonder activation functions zou een neuraal netwerk gewoon een stapel rekensom­metjes zijn — lineaire berekeningen die elkaar opvolgen. Het netwerk zou dan alleen rechte lijnen kunnen leren. Maar de wereld is niet lineair. Een gezicht herkennen, taal begrijpen, patronen zien — dat vraagt om krommes, wendingen, complexiteit. Activation functions maken dat mogelijk door niet-lineairiteit toe te voegen.

Hoe werkt het eigenlijk?

Een neuron in een netwerk ontvangt signalen (getallen) van de vorige laag. Het vermenigvuldigt die met gewichten, telt alles bij elkaar op, en krijgt dan één getal als resultaat. Dat getal gaat door de activation function, en die beslist: wat stuur ik door?

Er zijn verschillende soorten, elk met z'n eigen karakter:

• ReLU (Rectified Linear Unit) — de populairste. Simpel principe: is het getal negatief? Dan wordt het nul. Is het positief? Dan gaat het door zoals het is. Snel en effectief.

• Sigmoid — maakt van elk getal een waarde tussen 0 en 1. Handig voor ja/nee-beslissingen, zoals: is dit een hond of een kat?

• Tanh — vergelijkbaar met sigmoid, maar geeft waarden tussen -1 en 1. Wat meer balans.

• Softmax — gebruikt als allerlaatste stap, wanneer het netwerk uit meerdere opties moet kiezen (bijvoorbeeld: is dit een appel, peer of banaan?).

De keuze voor een activation function beïnvloedt hoe snel het netwerk leert en hoe goed het complexe patronen kan herkennen.

Een voorbeeld uit de praktijk

Stel, je traint een netwerk om foto's van honden te herkennen. De pixels van de foto worden getallen, die door het netwerk stromen. Elke laag zoekt naar patronen: eerst simpele lijnen, dan oren, dan snuiten, uiteindelijk hele gezichten.

Na elke laag komen activation functions in actie. Ze zorgen ervoor dat alleen de nuttige signalen doorgaan — bijvoorbeeld: "ja, hier zie ik een oor-achtige vorm" — en dat irrelevante ruis weggefilterd wordt. Zonder die functies zou het netwerk geen onderscheid kunnen maken tussen een hond en een achtergrond.

Waar kom je het tegen?

Activation functions zijn de ruggengraat van elk neuraal netwerk. Je komt ze tegen in:

• Beeldherkenning — gezichtsherkenning op je telefoon, medische scans analyseren

• Taalmodellen — GPT, Claude, Gemini en andere chatbots gebruiken activation functions in elke laag van hun netwerk

• Spraakherkenning — Siri, Google Assistant, stemgestuurde systemen

• Aanbevelingssystemen — Netflix, Spotify, webshops die voorspellen wat jij leuk vindt

• Autonome voertuigen — waar camera's objecten moeten herkennen en beslissingen nemen

In deep learning frameworks zoals TensorFlow en PyTorch kies je bij het bouwen van een model expliciet welke activation function je per laag gebruikt.

Waarom zou jij hier iets aan hebben?

Als je wilt begrijpen hoe AI daadwerkelijk 'leert', is de activation function een cruciaal puzzelstukje. Het laat zien dat intelligentie niet magisch is, maar het resultaat van slimme kleine beslissingen die miljarden keren herhaald worden.

Als je zelf met AI-modellen gaat werken — of als je collega's daarover hoort praten — helpt het om te weten dat de keuze van activation function impact heeft op snelheid, nauwkeurigheid en stabiliteit. Je hoeft geen programmeur te zijn om dat te snappen. Het gaat om het principe: hoe zorg je dat een systeem niet alleen rekent, maar ook leert?

Denk eraan als je de volgende keer een foto uploadt en je telefoon direct herkent wie erop staat. Ergens diep in dat netwerk vuurt op dat moment een reeks activation functions — en die maken het verschil tussen ruis en herkenning.