Wat is Convex Function?

Wat is een Convex Function eigenlijk?

Stel je voor dat je een kom omhoog houdt. De binnenkant van die kom vormt een soort dal: waar je ook twee punten pakt op de rand en daar een touwtje tussen spant, dat touwtje raakt nooit de bodem, maar blijft altijd boven (of precies op) het oppervlak zweven. Dat is in essentie wat een convex function is — een wiskundige vorm die één duidelijk diepste punt heeft, zonder verrassende kuilen of bergjes ertussenin.

In het Nederlands zeggen we ook wel 'convexe functie', maar in de AI-wereld blijft men meestal bij de Engelse term. Het gaat om functies waarbij het 'dal' mooi glad afloopt naar één laagste punt. Dit laagste punt noemen we het globale minimum — en dat is precies wat een AI-model tijdens training probeert te vinden.

Waarom is dit belangrijk voor AI?

Als je een AI-model traint, zoek je eigenlijk naar de beste instellingen (parameters) die de fouten minimaliseren. Die zoektocht kun je zien als het afdalen in een landschap: je wilt naar het diepste punt. Bij een convex function weet je zeker: als je steeds bergafwaarts loopt (volgt waar het steiler naar beneden gaat), kom je gegarandeerd bij het allerlaagste punt uit. Geen verrassingen, geen valse dalen waar je vastzit.

Bij niet-convexe functies — denk aan een berglandschap met meerdere valleien — kun je per ongeluk in een lokaal dal blijven hangen, terwijl er verderop een nog dieper punt is. Convexiteit maakt optimalisatie daarom voorspelbaar en betrouwbaar.

Een voorbeeld uit de praktijk

Neem lineaire regressie — een basismodel dat een rechte lijn door datapunten probeert te trekken. De fout die het model maakt (hoe ver de voorspellingen van de werkelijkheid afzitten) kun je beschrijven met een convex function. Hierdoor weet je: als je de parameters steeds een beetje bijstelt richting minder fout, vind je gegarandeerd de beste rechte lijn. Geen gedoe met meerdere 'oplossingen' die allemaal even goed lijken.

Bij complexere modellen zoals diepe neurale netwerken is de fout-functie meestal niet convex — daar heb je wel degelijk meerdere dalen. Daarom zijn die modellen lastiger te trainen en heb je slimmere optimalisatietechnieken nodig.

Waar kom je het tegen?

• Support Vector Machines (SVM): een klassiek machine learning-algoritme met een convexe optimalisatiedoelstelling

• Logistische regressie: ook hier is de loss function convex, wat training eenvoudig maakt

• Lasso en Ridge regressie: regularisatietechnieken met convexe penalty-termen

• Optimalisatie-algoritmes: gradient descent werkt het beste op convexe functies

• Wetenschappelijke papers over training-algoritmes: convexiteit wordt vaak genoemd als gewenste eigenschap

In moderne deep learning zie je convexiteit vooral terug in de theorie en bij specifieke onderdelen (bepaalde loss functions, regularisatie), maar het volledige trainingslandschap is meestal niet convex.

Wat kun je er nu mee?

Als je een AI-model bouwt of evalueert, helpt het te weten of het optimalisatieprobleem convex is. Bij convexe problemen kun je erop vertrouwen dat standaard optimalisatie-algoritmes snel en betrouwbaar het beste resultaat vinden. Bij niet-convexe problemen (de meeste diepe netwerken) weet je: je hebt geen garanties, training kan vastlopen in suboptimale oplossingen, en je moet slimmer experimenteren met startwaarden en learning rates. Convexiteit is eigenlijk een garantiebewijs voor voorspelbaar succes — en als die garantie ontbreekt, moet je voorzichtiger zijn.