Wat is Divergence?

Wanneer training de verkeerde kant opgaat

Stel je voor: je leert fietsen, maar in plaats van stabieler te worden met elke poging, word je steeds wiebeliger. Uiteindelijk val je bij elke meter. Dat is divergence — het tegenovergestelde van wat je wilt.

Bij het trainen van een AI-model wil je dat de fouten (de 'loss') steeds kleiner worden. Het model leert dan steeds beter voorspellen. Maar soms gebeurt het omgekeerde: de loss loopt juist op. Het model maakt steeds grotere fouten, in plaats van kleinere. De training divergeert — letterlijk: gaat uiteen, loopt uit de hand.

Het resultaat? Een model dat niet alleen slecht presteert, maar vaak helemaal onbruikbaar is. De voorspellingen worden bizarre uitschieters, de berekeningen kunnen zelfs naar oneindig gaan (NaN-values: 'Not a Number'). De training crasht of levert waardeloze output.

Hoe gebeurt dat?

De meest voorkomende oorzaak is een learning rate die te hoog staat. Dat is de stapgrootte waarmee het model zijn interne instellingen (parameters) bijstelt na elke training-ronde.

Vergelijk het met het afstellen van je douche. Als je het kraantje te voorzichtig draait (learning rate te laag), duurt het eindeloos voor je de juiste temperatuur hebt. Maar als je 'm in één keer te ver omdraait (learning rate te hoog), schiet je voorbij de perfecte instelling — en bij elke nieuwe correctie schiet je weer te ver door, steeds verder van het ideaal af. De temperatuur springt van kokend naar ijskoud en terug, steeds extremer. Dat is divergence.

Andere oorzaken:

• Data met extreme waarden — als je trainingsdata vol zit met rare uitschieters, kan het model daarop reageren met extreme aanpassingen

• Instabiele architectuur — sommige model-ontwerpen zijn gevoeliger voor divergence dan andere

• Gradient explosion — de interne signalen die het model gebruikt om bij te sturen worden exponentieel groter, waardoor alles uit de hand loopt

Hoe herken je het?

Als je een model traint, zie je meestal een grafiek van de loss over tijd. Bij een gezonde training daalt die geleidelijk, misschien met wat golfjes. Bij divergence zie je:

• De loss die plotseling omhoog schiet

• Waardes die naar 'inf' (infinity) of 'NaN' springen

• Het model dat bizarre, onzinnige output produceert

• Training die crasht of vastloopt

Erfgenomen onderzoekers en engineers zien dit vaak in de eerste trainingsruns van een nieuw model. Het is een signaal: stop, pas de instellingen aan, probeer opnieuw.

Waar kom je het tegen?

Divergence is vooral relevant als je zelf modellen traint of fine-tuned:

• Machine learning platforms — TensorFlow, PyTorch, Keras waarschuwen vaak automatisch als ze divergence detecteren

• Training dashboards — tools als Weights & Biases, MLflow tonen grafieken waar je divergence direct kunt herkennen

• Cloud AI-diensten — Google Vertex AI, Azure ML, AWS SageMaker hebben ingebouwde checks die training stoppen bij divergence

Als je alleen gebruikmaakt van kant-en-klare AI-diensten (zoals ChatGPT, Claude, Gemini), merk je hier niets van — die modellen zijn al getraind. Divergence is al voorkomen door de engineers die ze bouwden.

Wat kun je ermee?

Begrijpen wat divergence is helpt je vooral als je zelf met AI-training bezig bent. De belangrijkste les: als je training de verkeerde kant opgaat, is dat een signaal om de instellingen te herzien. Meestal betekent het: verlaag de learning rate, controleer je data op vreemde waarden, of pas de model-architectuur aan. Veel moderne frameworks doen dit deels automatisch met technieken als 'gradient clipping' of 'adaptive learning rates' — vangnetjes die voorkomen dat de training ontspoort.

Zelfs als je niet zelf traint, geeft het begrip je inzicht in waarom AI-ontwikkeling zo'n delicaat werk is. Het is niet alleen data erin gooien en wachten op resultaat — het vereist constant monitoren, aanpassen, experimenteren. Divergence is een van de hobbels die engineers dagelijks tegenkomen en moeten oplossen.