Wat is L2 Norm?

Wat is de L2 Norm eigenlijk?

Stel je voor: je hebt een lijst met getallen, bijvoorbeeld [3, 4]. De L2 Norm is een manier om te zeggen: "hoe groot is deze lijst als geheel?" Het antwoord krijg je door elk getal te kwadrateren (vermenigvuldigen met zichzelf), die kwadraten op te tellen, en daar de wortel van te nemen. In ons voorbeeld: 3² + 4² = 9 + 16 = 25, en de wortel van 25 is 5. De L2 Norm is dus 5.

Denk aan de stelling van Pythagoras uit de wiskunde: als je een driehoek hebt met zijden 3 en 4, dan is de schuine zijde 5. De L2 Norm meet dus eigenlijk de rechte afstand van het beginpunt naar het eindpunt in een ruimte — alsof je lijst getallen coördinaten zijn op een kaart.

In AI-modellen heb je vaak niet met 2 getallen te maken, maar met duizenden of miljoenen (denk aan alle parameters in een neuraal netwerk). De L2 Norm helpt dan om te zeggen: "hoe groot is de totale verandering?" of "hoe groot is de fout die we maken?"

Waar kom je het tegen?

Je ziet de L2 Norm overal in AI, vaak zonder dat het expliciet genoemd wordt:

• Foutmeting (loss): Als een model voorspellingen doet, kun je de L2 Norm gebruiken om te meten hoe ver die voorspellingen afwijken van de echte waardes. Dit heet ook wel de mean squared error — een variant waarbij je eerst de L2 Norm kwadrateert en dan gemiddeld.

• Regularisatie: Om te voorkomen dat een model te sterk op details leert (overfitting), kun je een straf toevoegen op basis van de L2 Norm van alle gewichten. Dit heet L2 regularisatie of weight decay. Het houdt de parameters klein en het model flexibel.

• Embeddings vergelijken: Als je twee woorden of zinnen hebt omgezet naar vectoren (reeksen getallen), kun je de L2 Norm gebruiken om te berekenen hoe ver ze uit elkaar liggen — en dus hoe verschillend ze zijn.

• Gradient clipping: Bij het trainen van modellen kun je voorkomen dat updates te groot worden door de L2 Norm van de gradient te checken en zo nodig af te kappen.

Je komt het tegen in veel AI-frameworks (PyTorch, TensorFlow, scikit-learn) en in technische artikelen over model-optimalisatie en training.

Waarom heet het L2 en niet gewoon 'afstand'?

De "L" staat voor een familie van normen die wiskundigen gebruiken. De L2 Norm is de meest bekende — de rechte lijn. Er bestaat ook een L1 Norm (gewoon alle getallen optellen zonder te kwadreren) en zelfs een L∞ Norm (alleen het grootste getal telt). Elke variant meet "grootte" op een andere manier. L2 is populair omdat het wiskundig makkelijk werkt en goed aansluit bij hoe wij afstand ervaren: de kortste weg tussen twee punten is een rechte lijn.

Wat kun je ermee?

Als je zelf AI-modellen bouwt of fine-tunet, kom je de L2 Norm tegen in de instellingen. Bijvoorbeeld: een leeralgoritme vraagt "wil je L2 regularisatie?". Dat betekent: wil je dat het model z'n parameters klein houdt? Zeg je ja, dan voorkom je dat het model rare, extreme waardes aanneemt die alleen op je trainingsdata werken.

Ook bij het evalueren van modellen zie je het: "de L2-afstand tussen verwachte en echte output is 0.03" — dat vertelt je hoe nauwkeurig het model is. Hoe kleiner dat getal, hoe beter.

Je hoeft de wiskunde niet zelf uit te rekenen — de software doet dat. Maar het helpt om te snappen wat er gebeurt: het model meet letterlijk afstanden in een grote ruimte van getallen, en probeert die zo klein mogelijk te maken. L2 Norm is gewoon de lineaal die daarbij gebruikt wordt.