Wat is Scaling Law?

Wat is een scaling law eigenlijk?

Stel je voor dat je een kind leert rekenen. Eerst oefen je met tien sommetjes, dan met honderd, dan met duizend. En naarmate het kind meer oefent én z'n brein zich ontwikkelt, worden de antwoorden steeds beter. Dat simpele principe — meer oefening plus een groter brein geeft betere resultaten — geldt ook voor AI-modellen. En dat noemen we een scaling law.

In de AI-wereld is het de observatie dat wanneer je drie dingen tegelijk vergroot (het model zelf, de hoeveelheid trainingsdata, en de rekenkracht die je ervoor inzet), de prestaties op een voorspelbare manier blijven stijgen. Niet exponentieel, maar wel consistent. Het is geen theoretische wet zoals zwaartekracht, maar een empirische regel: onderzoekers hebben gemeten dat het steeds werkt, en dat patroon lijkt te blijven gelden.

De bekendste scaling law is die van OpenAI uit 2020, die liet zien dat je de capaciteiten van een taalmodel vrij nauwkeurig kunt voorspellen aan de hand van hoeveel parameters (instelbare gewichtjes in het netwerk) het heeft, hoeveel woorden het ziet tijdens training, en hoeveel rekenkracht je ervoor inzet. Verdubbel je het model, dan daalt de fout met een vast percentage. Het is bijna saai hoe betrouwbaar dat werkt.

Waarom is dit zo belangrijk?

Omdat scaling laws AI-bedrijven een soort routekaart geven. Als je weet dat een model met tien keer meer parameters en tien keer meer data een voorspelbare kwaliteitssprong maakt, kun je vooraf berekenen of die miljoenennvestering in GPU's en elektriciteit de moeite waard is. Het verklaart ook waarom GPT-4 beter is dan GPT-3, en waarom Claude 3.5 andere dingen kan dan Claude 2: ze zijn simpelweg groter getraind op meer materiaal.

Het heeft ook een keerzijde: scaling laws lijken zich niet oneindig door te zetten. Sommige onderzoekers waarschuwen dat we dicht bij de limieten komen van wat je kunt bereiken door alleen maar groter te bouwen. De vraag is of er een plafond zit aan deze aanpak, of dat er nieuwe doorbraken nodig zijn om verder te komen.

Waar kom je het tegen?

Je merkt het niet direct, maar scaling laws vormen de basis van elk groot taalmodel dat je gebruikt:

• ChatGPT, Claude, Gemini — elk nieuw versienummer betekent vaak: groter model, meer data, betere antwoorden

• Bedrijfsplannen van AI-labs — waarom investeert Microsoft miljarden in OpenAI? Omdat scaling laws aangeven dat méér investering meetbaar betere modellen oplevert

• Onderzoeksrapporten — papers zoals die van Kaplan et al. (OpenAI, 2020) en Hoffmann et al. (DeepMind, 2022) zijn de basis van dit inzicht

• Discussies over AI-veiligheid — als modellen voorspelbaar slimmer worden door schaalvergroting, kun je ook beter inschatten wanneer ze gevaarlijk krachtig worden

Drie factoren die samen schalen

Scaling laws draaien om drie dingen tegelijk groter maken:

• Modelgrootte — meer parameters, dus meer instelbare 'knoppen' in het netwerk

• Datavolume — meer tekst, afbeeldingen of andere voorbeelden om van te leren

• Rekenkracht — meer GPU's, meer dagen trainen, meer elektriciteit

Vergroot je er maar één, dan stijgt de kwaliteit minder hard. De kunst is om ze in balans te houden: een gigantisch model op te weinig data trainen geeft overfitting, en eindeloos trainen op te weinig data geeft ook geen beter resultaat meer.

De grenzen van groter bouwen

Scaling laws zijn geen toverstaf. Ze voorspellen vooral technische prestaties: minder fouten in tekst voorspellen, betere scores op benchmarks. Maar ze zeggen niets over of een model ook echt begrijpt wat het doet, of het creatief kan zijn, of het veilig blijft.

Bovendien worden de sprongen kleiner naarmate je groter wordt. De stap van GPT-2 naar GPT-3 voelde enorm, de stap van GPT-3 naar GPT-4 voelde subtieler — al was GPT-4 objectief gezien veel capabeler. En vroeg of laat loop je tegen fysieke limieten aan: er zijn maar zoveel GPU's, zoveel data, zoveel budget.

Daarom kijken onderzoekers ook naar andere routes: efficiëntere architecturen, slimmere trainingsmethodes, betere data in plaats van alleen maar meer data. Scaling laws blijven gelden, maar zijn niet het enige verhaal.

Wat kun je er zelf mee?

Als je AI-tools gebruikt of overweegt om ze in te zetten, helpt het om te weten dat nieuwere, grotere modellen meestal echt beter zijn — niet door magie, maar door deze voorspelbare schaalwetten. Het verklaart waarom een betaalde API met een groter model vaak duidelijk betere output geeft dan een gratis variant, en waarom elk half jaar er weer nieuwe versies komen.

En als je in je organisatie nadenkt over AI-investeringen: scaling laws betekenen dat de kwaliteit van beschikbare modellen de komende jaren waarschijnlijk blijft stijgen, zolang de budgetten en rekenkracht blijven groeien. Dat maakt het makkelijker om te plannen, maar vraagt ook om alertheid: want wat vandaag goed genoeg is, kan morgen al achterhaald zijn door een grotere, betere opvolger.