Wat is Catastrophic Forgetting?

Wanneer leren ook vergeten betekent

Stel je voor: je hebt een AI-model getraind om honden en katten te herkennen. Werkt perfect. Maar nu wil je dat het ook vogels herkent, dus je traint het verder met vogelplaatjes. En dan blijkt ineens: het model weet niet meer goed wat een hond of kat is. De nieuwe training heeft als het ware de oude kennis overschreven.

Dat is catastrophic forgetting — een van de lastigste problemen bij het verder trainen van AI-modellen. Het lijkt een beetje op wanneer je een nieuw telefoontoestel leert gebruiken en vervolgens bent vergeten hoe de vorige werkte. Maar bij AI is het probleem vaak veel ernstiger: het model kan vrijwel al zijn oude vaardigheden kwijtraken.

Hoe ontstaat het?

AI-modellen leren door hun interne gewichten (de getallen die bepalen hoe het model beslissingen neemt) aan te passen. Bij nieuwe training worden die gewichten opnieuw aangepast. Het probleem: het model heeft geen apart geheugen voor 'oude taken' en 'nieuwe taken'. Alles zit door elkaar in dezelfde set gewichten.

Als je het model dus intensief traint op nieuwe data, kunnen de gewichten zo veranderen dat ze niet meer goed werken voor de oude taken. Het model heeft geen besef van 'dit moet ik onthouden'. Het past zich simpelweg aan aan de meest recente voorbeelden — en verliest daarbij het overzicht.

Een voorbeeld uit de praktijk

Een webshop traint een chatbot om klantvragen te beantwoorden over schoenen. Werkt goed. Later voegen ze een nieuwe productlijn toe: tassen. Ze trainen de bot verder met vragen over tassen. Maar dan blijkt: klanten die nog steeds vragen over schoenen krijgen rare antwoorden — de bot lijkt zijn schoenkennis grotendeels kwijt te zijn.

Of een ziekenhuis dat een AI-model heeft voor het herkennen van longfoto's, en het later ook wil laten werken voor hartfoto's. Zonder de juiste aanpak kan het model zijn longfoto-vaardigheden verliezen tijdens de hartfoto-training.

Hoe ga je ermee om?

Er bestaan verschillende strategieën om catastrophic forgetting tegen te gaan:

• Opnieuw alle data erbij geven — bij het leren van de nieuwe taak ook oude voorbeelden blijven tonen. Werkt, maar niet altijd haalbaar (oude data kan weg zijn, of privacygevoelig).

• Elastic Weight Consolidation — het model 'bevriest' bepaalde gewichten die belangrijk zijn voor oude taken, zodat die minder snel veranderen.

• Replay-methoden — het model genereert kunstmatige voorbeelden van oude taken en traint daar af en toe mee, zodat het die kennis fris houdt.

• Aparte modules — voor elke taak een apart stukje van het model, zodat ze elkaar niet overschrijven.

In de praktijk is het vaak een afweging: hoe zorg je dat het model blijft leren, zonder te veel te vergeten?

Waar kom je het tegen?

Catastrophic forgetting speelt bij allerlei systemen die je verder wilt trainen:

• Chatbots of virtuele assistenten die nieuwe domeinen moeten leren (klantenservice → technische support)

• Productiemodellen die geüpdatet worden met nieuwe productsoorten of nieuwe talen

• Robotica waarbij een robot steeds nieuwe taken leert zonder oude vaardigheden kwijt te raken

• Medische AI die uitgebreid moet worden naar nieuwe diagnoses of beeldtypes

• Contentmoderatiesystemen die nieuwe categorieën schadelijke content moeten leren herkennen

Bij grote taalmodellen zoals ChatGPT of Claude zie je dit minder extreem, omdat die vaak in één keer op enorme datasets getraind worden. Maar ook daar kan het spelen als je ze verder fine-tunet voor specifieke taken.

Wat betekent dit voor jou?

Als je een AI-systeem hebt dat je wilt uitbreiden of updaten, is het goed om je bewust te zijn van dit fenomeen. Test altijd of oude functionaliteit nog werkt na nieuwe training. En als je met een leverancier werkt: vraag hoe zij omgaan met updates zonder dat bestaande vaardigheden verloren gaan. Want een model dat voortdurend leert maar ook voortdurend vergeet, is uiteindelijk niet zo handig.