Wat is Learning Rate Schedule?

Waarom zou een AI steeds langzamer moeten leren?

Stel je voor dat je een schilderij maakt. In het begin zet je met grove streken de contouren neer — snel, met brede kwasten. Naarmate het werk vordert, pak je steeds fijnere penselen om details aan te brengen. Precies zo werkt een learning rate schedule: het begint met grote leerstappen om snel vooruitgang te boeken, en schaalt daarna geleidelijk af naar kleinere aanpassingen om de fijne details te perfectioneren.

Wanneer een neuraal netwerk traint, past het continu zijn interne parameters aan op basis van fouten die het maakt. De learning rate bepaalt hoe groot die aanpassingen zijn. Te groot, en het model blijft eindeloos heen en weer zwaaien zonder ooit een optimaal punt te vinden. Te klein, en de training duurt eindeloos lang — of het model blijft in een middelmatige oplossing steken.

Hoe werkt zo'n schema eigenlijk?

Een learning rate schedule is in essentie een tijdschema dat de learning rate tijdens de training aanpast. Er zijn verschillende soorten:

Step decay — Na een vast aantal trainingsstappen wordt de learning rate bijvoorbeeld gehalveerd. Je begint met 0.1, na 10.000 stappen naar 0.05, daarna naar 0.025, enzovoort. Simpel en voorspelbaar.

Exponential decay — De learning rate neemt geleidelijk af volgens een vloeiende curve, zoals het afkoelen van een kopje thee. Elke stap wordt de rate een klein beetje lager.

Cosine annealing — De learning rate volgt een golfbeweging: hij daalt geleidelijk, maar soms krijgt hij een kort zetje omhoog. Dit helpt het model om uit lokale dalen te ontsnappen waar het anders vast zou blijven zitten.

Warm-up — Sommige schema's beginnen juist heel voorzichtig, met een lage learning rate die de eerste paar duizend stappen geleidelijk oploopt. Daarna volgt pas de normale afbouw. Dit voorkomt dat het model in het begin een verkeerde richting inslaat met te grote sprongen.

De keuze voor een bepaald schema hangt af van het type model, de dataset en wat tijdens experimenten het beste blijkt te werken. Er is geen universele oplossing — veel machine learning engineers testen verschillende schema's om te zien wat de beste resultaten oplevert.

Een voorbeeld uit de praktijk

Bij het trainen van grote taalmodellen (zoals de basis van ChatGPT of Claude) wordt bijna altijd een learning rate schedule gebruikt. Stel je voor: het model moet miljarden woord-verbanden leren. In het begin maakt het grofweg fouten — het voorspelt compleet verkeerde woorden. Dan is een grote learning rate handig: het model kan snel grove patronen oppikken.

Maar tegen het einde van de training gaat het om subtiele nuances: wanneer gebruik je 'echter' in plaats van 'maar'? Die verfijning vereist kleine, precieze aanpassingen. Met een te hoge learning rate zou het model op dat punt juist dingen gaan verergeren — alsof je met een verfroller details probeert te schilderen.

Een typisch traject: beginnen op 0.001, na 50.000 stappen naar 0.0001, en aan het einde naar 0.00001. Het model leert eerst de grote patronen, daarna de subtiliteiten.

Waar kom je het tegen?

Bijna elk modern AI-systeem dat met neurale netwerken werkt, gebruikt een vorm van learning rate scheduling. Het is een standaardonderdeel van de training geworden. Je ziet het terug in:

• Trainingspipelines van grote taalmodellen (GPT, Claude, Gemini, Llama)

• Computer vision-modellen voor beeldherkenning

• Spraakherkenningssystemen

• Aanbevelingssystemen van streamingdiensten

In machine learning-frameworks zoals PyTorch en TensorFlow zijn verschillende schedules kant-en-klaar beschikbaar. Researchers en ML-engineers kiezen het type schedule dat bij hun specifieke probleem past — of bedenken soms hun eigen varianten.

Wat kun je ermee?

Als je zelf AI-modellen traint, is begrip van learning rate schedules essentieel om goede resultaten te krijgen. Zonder schedule kan je model vastlopen, te langzaam leren, of juist instabiel worden. Met de juiste schedule train je efficiënter: sneller naar betere prestaties, met minder verspilde rekenkracht.

Ook als je geen technicus bent, geeft dit begrip inzicht in waarom AI-training tijd kost en waarom 'even opnieuw trainen' niet altijd een snelle oplossing is. Het finetunen van zo'n schedule — net als veel andere aspecten van model-training — vereist ervaring en geduld. Het is ambacht, geen toverij.