Wat is GELU?

Wat is het eigenlijk?

GELU staat voor Gaussian Error Linear Unit. Klinkt ingewikkeld, maar het is eigenlijk een soort filter in een AI-model dat bepaalt hoe sterk een signaal doorgegeven wordt. Vergelijk het met het volume-knopje op een radio: in plaats van alleen "helemaal uit" of "helemaal aan", kun je met GELU ook alle tussenposities kiezen.

In een neuraal netwerk stroomt informatie van de ene laag naar de andere — net zoals water door een buizenstelsel. Bij elke tussenstop moet het netwerk beslissen: laat ik dit signaal helemaal door? Houd ik het tegen? Of zit de waarheid ergens in het midden? GELU is zo'n beslisser, en het bijzondere is dat het kleine signalen zachter behandelt dan oudere methodes.

Hoe werkt het eigenlijk?

Stel je voor: je bent aan het browsen door social media en je telefoon moet beslissen welke posts interessant zijn. Een harde aan/uit-schakelaar zou zeggen: "interessant = laten zien, niet interessant = verbergen". GELU werkt anders: het kijkt naar hoe interessant iets is en past de "helderheid" geleidelijk aan. Iets wat een beetje interessant is, krijgt een beetje aandacht. Iets wat heel interessant is, krijgt volle aandacht.

Technisch gezien gebruikt GELU een vloeiende wiskundige curve die geïnspireerd is op kansberekening. Kleine negatieve waardes worden bijna helemaal uitgefilterd, maar niet bruut afgesneden. Kleine positieve waardes krijgen wel door, maar met een zachte opbouw. Dit zorgt ervoor dat het netwerk genuanceerder kan leren.

Waarom zou jij hier iets aan hebben?

Je merkt GELU niet direct, maar het zit wél in veel moderne AI-modellen die je dagelijks gebruikt. Het verschil met oudere methodes (zoals ReLU, een simpelere aan/uit-schakelaar) is dat GELU vaak tot betere resultaten leidt — vooral bij complexe taken zoals taal begrijpen of beeldherkenning.

Modellen die GELU gebruiken leren vaak sneller en produceren natuurlijkere output. Dat komt doordat de zachte overgang kleine nuances behoudt die anders verloren zouden gaan. Het is een beetje zoals het verschil tussen een pixelige foto en een vloeiend verloop: beide tonen hetzelfde, maar de ene voelt natuurlijker aan.

Een voorbeeld uit de praktijk

Neem een taalmodel dat een zin probeert aan te vullen. Stel, je typt: "De kat ligt op de..." Het model moet kiezen uit duizenden mogelijkheden: mat, bank, grond, tafel. Sommige zijn heel waarschijnlijk, andere net iets minder.

Met een harde schakelaar zou het model alleen de top-opties bekijken en de rest negeren. Met GELU houdt het ook rekening met de minder waarschijnlijke opties, zij het in mindere mate. Dat maakt de uiteindelijke keuze vaak natuurlijker en contextueel beter — vooral als "mat" te voorspelbaar is en "vensterbank" eigenlijk passender zou zijn bij de rest van de tekst.

Waar kom je het tegen?

GELU wordt vooral gebruikt in moderne transformer-modellen — de architectuur achter grote taalmodellen. Je vindt het onder andere in:

• BERT — het model dat Google gebruikt voor zoekresultaten begrijpen

• GPT-varianten — de basis van tools als ChatGPT, Claude en Copilot

• Vision Transformers — modellen die afbeeldingen analyseren

• Spraakherkenningsmodellen — die je stem omzetten naar tekst

Als je met één van deze tools werkt, gebruik je indirect GELU — ook al zie je het niet. Het draait op de achtergrond, als onderdeel van de miljoenen berekeningen die nodig zijn om jouw vraag te begrijpen en een antwoord te genereren.

Wat kun je ermee?

Als gebruiker hoef je niets met GELU te doen — het is een technisch detail dat de makers van AI-modellen voor je regelen. Maar het is goed om te weten dat zulke kleine keuzes (welke activeringsfunctie gebruik je?) een groot verschil maken in de kwaliteit van de AI die je gebruikt.

Als je zelf experimenteert met het bouwen of fine-tunen van modellen, kun je GELU kiezen als activeringsfunctie in je architectuur. De meeste moderne frameworks (PyTorch, TensorFlow) ondersteunen het uit de doos. Het kost iets meer rekenkracht dan simpelere alternatieven, maar de prestatieverbetering is vaak de moeite waard — zeker bij grote, complexe modellen.