Wat is Label Shift?

Wat is label shift eigenlijk?

Stel je voor: je traint een AI-model om te herkennen of iemand een lening kan terugbetalen. Je trainingsdata komt uit 2019, toen de economie goed draaide en 80% van de aanvragers een lening kreeg. Maar nu, in een recessie, krijgt maar 40% goedkeuring. De verhoudingen tussen "wel lening" en "geen lening" zijn compleet veranderd — dat is label shift.

Het gaat niet om dat de kenmerken van mensen veranderen (leeftijd, inkomen, schulden), maar om de verhoudingen tussen de uitkomsten. Je model verwacht nog steeds dat 8 van de 10 mensen een lening krijgen, terwijl dat in werkelijkheid maar 4 van de 10 zijn. Daardoor worden de voorspellingen scheef.

Hoe ontstaat dit in de praktijk?

Label shift gebeurt meestal door:

• Tijdsveranderingen — De wereld verandert, maar je trainingsdata niet. Een spam-filter getraind in 2020 zag weinig corona-gerelateerde phishing; nu is dat anders.

• Verschillende contexten — Je traint een huidkanker-detectie op data uit ziekenhuizen (veel ernstige gevallen), maar gebruikt het bij huisartsen (veel onschuldige vlekjes).

• Selectiebias — Je trainingsdata bevat alleen gevallen waar iemand al actie ondernam, niet de "stille meerderheid" die niks deed.

Het verschil met andere dataproblemen: bij covariate shift veranderen de kenmerken van je input (andere foto's, andere taal). Bij label shift blijven de inputs vergelijkbaar, maar verschuiven de verhoudingen tussen de antwoorden.

Waarom is dit lastig?

Je model leert niet alleen welke signalen belangrijk zijn, maar ook hoe vaak elk antwoord voorkomt. Als het gewend is dat spam 5% van alle mails is, maar opeens is dat 30%, gaan de betrouwbaarheidsscores niet meer kloppen. Het model zegt misschien "95% zeker dat dit geen spam is" terwijl dat eigenlijk "60% zeker" zou moeten zijn.

Dat wordt vooral gevaarlijk bij:

• Medische diagnoses — Als je model getraind is op ziekenhuisdata (veel zieken) maar gebruikt wordt voor algemene screening (weinig zieken)

• Fraudedetectie — Criminelen passen hun tactieken aan, waardoor de verhouding echt/vals verschuift

• Kredietbeoordeling — Economische cycli veranderen de verhouding goedkeuring/afwijzing drastisch

Waar kom je het tegen?

Label shift is een bekend probleem in machine learning-projecten, vooral bij:

• Medische AI-systemen die van onderzoeksetting naar klinische praktijk gaan

• Financiële modellen die door conjunctuurschommelingen heen moeten

• Content moderatie waar de aard van schadelijke content voortdurend verschuift

• Voorspellend onderhoud waar de verhouding storing/normaal verschilt per fabriek of seizoen

In tools zoals scikit-learn, TensorFlow of PyTorch moet je hier zelf rekening mee houden — de software detecteert dit niet automatisch. Er bestaan wel gespecialiseerde libraries zoals Alibi Detect die je kunnen helpen distribution shifts op te sporen.

Hoe los je het op?

Er zijn verschillende strategieën:

• Herwegen — Je past de invloed van trainingsvoorbeelden aan op basis van de nieuwe verhoudingen (als je weet wat die zijn)

• Recalibratie — Je traint een laagje bovenop je model dat de betrouwbaarheidsscores aanpast aan de nieuwe realiteit

• Monitoring en hertrainen — Je meet continu hoe de verhoudingen veranderen en traint regelmatig opnieuw

• Robuuste evaluatie — Je test je model op data met verschillende verhoudingen om te zien hoe gevoelig het is

Sommige onderzoekers werken aan methoden die automatisch de nieuwe verhoudingen schatten en daar voor corrigeren, zonder dat je gelabelde data uit de nieuwe situatie nodig hebt.

Wat kun je er nu mee?

Als je een AI-model in productie hebt of overweegt: vraag jezelf af of de verhoudingen tussen categorieën in je trainingsdata overeenkomen met de praktijk. Zo niet, dan heb je mogelijk te maken met label shift. Monitor je productiedata op verschuivingen, en bouw een proces om je model regelmatig bij te werken wanneer de wereld verandert. Het gaat erom dat je model niet alleen leert herkennen, maar ook weet wat normaal is in de context waarin het werkt.