Wat is Stochastic Gradient Descent?

Hoe werkt het eigenlijk?

Stel je voor dat je leert fietsen. Je zou kunnen proberen om in één keer alle aspecten te begrijpen — balans, trappen, sturen, remmen — maar dat werkt niet. In plaats daarvan maak je kleine correcties: een beetje meer naar links, iets zachter remmen, sneller trappen. Elke poging leer je iets bij.

Precies zo werkt Stochastic Gradient Descent (SGD). Het is een trainingsmethode voor AI-modellen waarbij je het model niet in één keer alle data laat zien, maar stapje voor stapje leert aan de hand van willekeurig gekozen voorbeelden.

Bij het trainen van een neuraal netwerk moet het model leren welke 'gewichten' (de instelnopjes van het netwerk) de beste voorspellingen opleveren. In plaats van alle duizenden of miljoenen voorbeelden in één keer te analyseren — wat enorm veel rekenkracht en geheugen kost — pakt SGD er telkens één of een klein groepje uit. Het model doet een voorspelling, kijkt hoeveel het ernaast zat (de 'fout'), en past de gewichten een klein beetje aan in de richting die de fout verkleint.

'Stochastisch' betekent gewoon 'willekeurig'. Doordat je telkens andere voorbeelden gebruikt, zigzagt het leerproces een beetje, maar uiteindelijk kom je wel bij een goede oplossing uit. Het is alsof je naar de top van een berg loopt in de mist: je ziet niet alles, maar door steeds kleine stapjes in de goede richting te zetten, kom je er wel.

Waarom is het zo populair?

SGD is de standaard geworden omdat het snel en geheugen-efficiënt is. Moderne AI-modellen trainen op miljoenen plaatjes, teksten of geluiden. Als je al die data in één keer zou laden, zou je geheugen exploderen. Met SGD kun je met kleine happen werken.

Bovendien helpt die 'ruis' — het feit dat je niet altijd exact dezelfde route neemt — om vast te komen zitten in lokale minima (doodlopende weggetjes). Door een beetje te zigzaggen kun je daaruit ontsnappen en een betere oplossing vinden.

Er bestaan wel verbeterde varianten, zoals Adam of RMSprop, die nog slimmer bijsturen door bij te houden hoe snel de fout verandert. Maar de basisidee — kleine stapjes, willekeurige voorbeelden — blijft hetzelfde.

Een voorbeeld uit de praktijk

Stel, je traint een beeldherkenningsmodel dat katten en honden uit elkaar moet houden. Je hebt 10.000 foto's. In plaats van alle 10.000 foto's in één keer te verwerken, pakt SGD er willekeurig 32 (een 'batch'). Het model doet voorspellingen, ziet dat het bij 8 foto's ernaast zat, en past de gewichten aan. Dan pakt het de volgende 32 foto's, en zo verder.

Elke keer dat je door alle foto's bent gegaan heet een 'epoch'. Na een paar epochs herkent het model steeds beter welke kenmerken van een kat versus een hond belangrijk zijn — zonder dat je ooit alle foto's tegelijk in het geheugen hoefde te laden.

Waar kom je het tegen?

Bijna elk modern AI-model is op een of andere manier met SGD (of een variant) getraind:

• Chatmodels zoals GPT, Claude, Gemini, LLaMA — allemaal getraind met SGD-achtige optimizers

• Beeldgeneratoren zoals DALL-E, Midjourney, Stable Diffusion

• Spraakherkenning (Whisper, Google Speech)

• Aanbevelingssystemen (Netflix, Spotify, YouTube)

• Vertalers (Google Translate, DeepL)

Als je in AI-frameworks zoals PyTorch of TensorFlow werkt, zie je SGD letterlijk terug als optie bij het instellen van de optimizer.

Wat kun je er nu mee?

Als je zelf AI-modellen traint — bijvoorbeeld voor een pilot in je bedrijf of een universitair project — is het goed om te weten dat SGD de standaard is. Je hoeft niet alles te snappen van de wiskunde, maar begrijp dat die 'kleine stapjes' en 'willekeurige voorbeelden' cruciaal zijn voor het praktisch trainen van grote modellen.

Als je een AI-dienst inkoopt of evalueert, kun je vragen stellen over hoe het model getraind is. Begrippen als 'batch size', 'learning rate' en 'optimizer' hangen allemaal samen met SGD. Zo krijg je beter zicht op hoe betrouwbaar en efficiënt de training was — en dus hoe goed het model in de praktijk presteert.