Wat is Emergent Ability?

Wat is het eigenlijk?

Stel je voor: je traint steeds grotere versies van hetzelfde AI-model. Bij de kleine versie kan het model simpele zinnen afmaken. Bij de middelgrote versie wordt het iets beter. En dan, bij de grote versie, kan het ineens wiskundige redeneringen oplossen of programmeercode schrijgen — terwijl je het daar niet expliciet voor hebt getraind.

Dat noemen we een emergent ability: een vaardigheid die 'emergeert' (opduikt) zodra een model een bepaalde schaal bereikt. Het zit er niet geleidelijk in — het verschijnt vrij plotseling, alsof er een drempel wordt overschreden.

Het concept komt vooral uit onderzoek naar grote taalmodellen. Onderzoekers zagen dat bepaalde taken — zoals meertrapsredeneringen, vertalen naar zeldzame talen, of begrip van abstracte analogieën — pas werkten vanaf modellen met tientallen miljarden parameters. Kleinere modellen presteerden nauwelijks beter dan willekeurig gokken.

Hoe werkt dat?

Niemand weet het precies. Emergente vaardigheden zijn geen feature die je erin programmeert — ze ontstaan spontaan tijdens de training. Het vermoeden is dat een model eerst miljoenen subtiele patronen moet leren voordat het die patronen kan combineren tot complexere taken.

Vergelijk het met leren lezen: een kind leert eerst letters, dan woordjes, dan zinnen. Op een gegeven moment 'klikt' het en kan het kind verhalen begrijpen — niet door nog een letter erbij te leren, maar door alle puzzelstukjes samen te voegen. Bij AI gebeurt dat klikmoment bij een bepaalde modelgrootte.

Belangrijk: niet alle onderzoekers zijn het erover eens dat emergente vaardigheden echt bestaan. Sommigen denken dat het een meetkunsttruc is — dat de vaardigheid er altijd al was, maar dat we het pas zien als de prestatie boven een bepaalde drempel komt. Anderen zeggen dat het komt doordat we te abrupte testmetrieken gebruiken (zoals "goed of fout" in plaats van "bijna goed").

Waarom zou jij hier iets aan hebben?

Als je AI-tools inzet, helpt het om te weten dat groter niet altijd proportioneel beter is — soms krijg je bij een grotere versie ineens toegang tot capaciteiten die de kleinere versie helemaal niet had. Dat verklaart waarom de ene chatbot wel complexe redeneringen aankan en de andere niet, ook al zijn ze allebei 'taalmodellen'.

Het geeft ook inzicht in waarom AI-ontwikkeling soms sprongsgewijs gaat: een nieuw model is 10× groter, en plots kan het dingen die voorheen ondenkbaar leken. Dat maakt voorspellen lastig — je weet niet precies welke vaardigheden er bij de volgende schaalsprong opduiken.

Voor bedrijven betekent het: verwacht niet dat een klein, goedkoop model dezelfde trucjes beheerst als de grote broer. Soms zit er echt een kwalitatieve sprong tussen.

Waar kom je het tegen?

Emergente vaardigheden worden vooral genoemd in onderzoeksrapporten en marketingverhalen over grote modellen:

• GPT-3 (175 miljard parameters) kon plotseling redelijk programmeren, terwijl GPT-2 (1,5 miljard) dat nauwelijks kon

• PaLM en Gemini van Google toonden emergente vaardigheden in wiskundige redeneringen en meertalige taken bij opschaling

• Claude en GPT-4 lieten nieuwe capaciteiten zien in logische puzzels en abstracte samenvattingen

• Llama-modellen van Meta: bij opschaling verschenen vaardigheden in instructie-volgen en complexe contextbegrip

De term duikt ook op in discussies over AI-veiligheid: als modellen onverwachte vaardigheden ontwikkelen, hoe voorspel je dan wat de volgende generatie gaat kunnen?

Wat kun je ermee?

Als je AI-tools kiest, besef dan dat modelgrootte niet zomaar een technisch detail is — het kan het verschil maken tussen "kan dit niet" en "kan dit verrassend goed". Als je een taak hebt die subtiel redeneren of creativiteit vraagt, probeer dan de grotere versie van een model. Omgekeerd: als je alleen simpele tekst hoeft te classificeren, is een kleiner model vaak genoeg.

En als je in AI-ontwikkeling zit: blijf experimenteren met schaal. Soms zit de doorbraak die je zoekt niet in een slimmer algoritme, maar gewoon in een groter model.