Wat is Grokking?

Wanneer het kwartje valt

Stel je voor: je traint een AI-model op rekensommen. Na een paar uur scoort het 100% op de oefeningen die je hebt aangeboden. Klaar, zou je denken. Maar als je het dan nieuwe sommen voorlegt die het nog nooit gezien heeft, faalt het compleet. Het heeft de antwoorden uit het hoofd geleerd, maar snapt niet hoe optellen werkt.

Dan laat je het model nóg veel langer trainen — uren, soms dagen extra. En opeens, als uit het niets, begint het ook die nieuwe sommen op te lossen. Het lijkt alsof het kwartje eindelijk valt. Dat plotselinge moment van 'echte' begrip noemen we grokking.

Hoe werkt het eigenlijk?

Grokking doet zich vooral voor bij kleine datasets en lange trainingstijd. Wat er gebeurt:

• Fase 1: memoriseren — Het model leert de voorbeelden uit je trainingset simpelweg uit het hoofd. Net zoals een leerling die proefwerk-antwoorden memoriseert zonder de onderliggende logica te snappen.

• Fase 2: schijnbaar stilstand — Het model blijft perfect scoren op je trainingsset, maar doet het belabberd op nieuwe voorbeelden. Het lijkt alsof er geen vooruitgang meer is.

• Fase 3: plotselinge doorbraak — Na véél langer doortrainen vindt het model opeens een algemene regel of patroon. Het test-resultaat schiet omhoog. Het model generaliseert nu, in plaats van te kopiëren.

Waarom dit zo lang duurt? Het model moet eerst alle 'makkelijke' oplossingen (memoriseren) ontdekken voordat het de 'elegante' oplossing (de onderliggende regel) vindt. Die elegante oplossing is wiskundig gezien efficiënter, maar moeilijker te vinden.

Een voorbeeld uit de praktijk

Onderzoekers trainden een neuraal netwerk op eenvoudige modulo-rekensommen (rest na deling). Met slechts 50% van alle mogelijke sommen in de trainingsset. Eerst scoorde het model 100% op die 50%, maar 0% op de andere helft — pure memorisatie.

Na véél langer trainen — soms 10x zo lang — klom de score op nieuwe sommen plotseling naar 99%. Het model had niet meer antwoorden gezien, maar wél de wiskundige structuur van modulo-rekenen 'begrepen'. Dat is grokking.

Waarom zou jij hier iets aan hebben?

Grokking laat zien dat AI-modellen soms tijd nodig hebben om verder te komen dan oppervlakkig kopiëren. Voor jou betekent dit:

• Geduld loont — Als je zelf een model traint en het lijkt vast te zitten, kan langer doortrainen soms verrassend helpen. Niet altijd, maar het is de moeite waard om te proberen.

• Testen is cruciaal — Een model dat 100% scoort op je trainingsdata kan nog steeds niets snappen. Test altijd met nieuwe voorbeelden die het nog nooit gezien heeft.

• Kleine datasets vragen meer aandacht — Bij weinig data is het risico op memorisatie groter. Grokking kan dan een teken zijn dat je model eindelijk écht leert.

Waar kom je het tegen?

Grokking is vooral interessant in onderzoekscontext, maar het principe geldt breed:

• Bij het trainen van taalmodellen op specifieke taken (coding, wiskunde, logica)

• In experimenten met kleine datasets waar je wilt weten of je model echt generaliseert

• Bij het debuggen van modellen die goed lijken te presteren maar eigenlijk alleen maar kopiëren

In grote commerciële modellen (ChatGPT, Claude, Gemini) zie je het fenomeen minder direct, omdat die getraind worden op enorme datasets met veel rekenkracht. Maar het onderliggende principe — dat échte generalisatie tijd kost en anders is dan memoriseren — blijft overal gelden.

Wat kun je ermee?

Als je AI-modellen traint of evalueert, onthoud dan: perfecte score op je trainingsdata betekent niet dat je klaar bent. Grokking herinnert ons eraan dat begrip tijd kost en dat we verder moeten kijken dan het scorebord. Test altijd met nieuwe data, en geef je model soms wat extra tijd om van memoriseren naar begrijpen te komen.