Wat is Learning Rate?

Wat is een learning rate?

Stel je voor dat je een berg afloopt in dichte mist, op zoek naar het laagste punt in het dal. Bij elke stap voel je of de grond omhoog of omlaag loopt, en pas je je richting aan. De learning rate bepaalt hoe groot die stappen zijn.

In AI-training is het precies hetzelfde. Een model maakt voorspellingen, ziet waar het fout zit, en past zijn interne instellingen (parameters) een beetje bij. De learning rate is die 'een beetje' — het getal dat bepaalt hoe drastisch het model zichzelf aanpast na elke fout.

Een hoge learning rate betekent grote stappen: het model past zichzelf flink aan. Dat klinkt efficiënt, maar net als bij die berg: te grote stappen en je springt over het dal heen, stuiterend van de ene helling naar de andere zonder ooit het diepste punt te vinden.

Een lage learning rate betekent kleine stapjes: het model past zichzelf voorzichtig aan. Dat is veiliger, maar ook trager — het kan eindeloos lang duren voordat je bij het optimale resultaat bent. Soms blijf je zelfs halverwege steken in een kuiltje dat niet het échte dal is.

Hoe kies je de juiste stapgrootte?

Dat is een van de lastigste vragen in AI. Te hoog en je training wordt instabiel — het model lijkt niks te leren of sputtert alle kanten op. Te laag en je verspilt tijd — de training kruipt vooruit zonder noemenswaardig beter te worden.

In de praktijk beginnen AI-engineers vaak met een standaardwaarde (bijvoorbeeld 0,001 of 0,0001) en experimenteren vandaar. Sommige trainingsmethodes passen de learning rate automatisch aan tijdens het proces: beginnen met grotere stappen om snel vooruitgang te boeken, en verkleinen de stapgrootte naarmate het model het dal nadert. Dat heet een learning rate schedule.

Er bestaan ook slimme optimizers (zoals Adam of AdaGrad) die per parameter een verschillende stapgrootte gebruiken — alsof je op sommige plekken van de berg grotere stappen neemt dan op andere. Maar de basis blijft: ergens moet je een beginwaarde kiezen.

Een voorbeeld uit de praktijk

Stel, je traint een model om foto's van honden en katten te herkennen. Na elke batch foto's kijkt het model: hoeveel heb ik fout? Daarna past het zijn interne gewichten aan.

Met een learning rate van 0,1 (hoog) stuiter je misschien heen en weer tussen 60% en 70% nauwkeurigheid — het model past zichzelf té drastisch aan.

Met 0,0001 (laag) zie je de nauwkeurigheid langzaam kruipen van 50% naar 55% naar 60% — maar na 10.000 stappen zit je misschien pas op 75%, terwijl je met een betere waarde in 2.000 stappen op 90% had kunnen zitten.

Met 0,001 (middenweg) zie je vaak een mooie vloeiende curve: het model leert snel in het begin en stabiliseert later. Dat is meestal een goed uitgangspunt.

Waar kom je het tegen?

Elke AI-trainingstool of framework heeft een learning rate-parameter:

• PyTorch, TensorFlow, JAX — de grote frameworks waarmee onderzoekers en engineers modellen bouwen, allemaal met learning rate als eerste instelling

• Hugging Face Transformers — bij het fine-tunen van taalmodellen kies je vaak een learning rate tussen 1e-5 en 5e-5

• OpenAI's fine-tuning API, Google Vertex AI — sommige cloud-diensten kiezen automatisch een learning rate, andere laten jou de keuze

• AutoML-tools — diensten die modellen automatisch trainen, testen vaak verschillende learning rates achter de schermen

Zelfs als je niet zelf traint, zie je de term terug in onderzoekspapers, blogposts over AI-experimenten, en documentatie van voorgetrainde modellen.

Wat kun je ermee?

Als je zelf modellen traint (bijvoorbeeld via transfer learning of fine-tuning), is de learning rate een van de belangrijkste knoppen waar je aan draait. Begin met standaardwaarden uit tutorials of documentatie, en experimenteer als je training vastloopt of juist te traag gaat.

Als je AI-tools gebruikt maar niet zelf traint, helpt het om te begrijpen dat achter elke 'train model'-knop dit soort keuzes schuilgaan. Het verklaart waarom sommige trainingen uren duren en andere dagen, en waarom één model beter presteert dan een ander — vaak zit het verschil in deze ene kleine stapgrootte.