Wat is Parameter?

Wat is een parameter eigenlijk?

Stel je voor dat je leert fietsen. In het begin weet je niet precies hoeveel kracht je op de trappers moet zetten, hoe ver je moet sturen bij een bocht, of hoe hard je moet remmen. Door te oefenen leer je deze dingen steeds beter inschatten. Een parameter in een AI-model werkt precies zo: het is een getal dat het model kan aanpassen om steeds betere resultaten te geven.

Een AI-model zoals ChatGPT of een beeldherkenningssysteem bestaat uit miljoenen (of zelfs miljarden) van dit soort getallen. Elk getal heeft invloed op hoe het model een vraag interpreteert of een antwoord genereert. Tijdens het trainen past het model deze getallen steeds een beetje aan, net zoals jij bij het fietsen leert hoeveel kracht je nodig hebt voor een heuvel.

Hoe werkt het in de praktijk?

Zo kun je het zien: je wilt een model trainen dat plaatjes van katten en honden kan herkennen. Het model begint met willekeurige parameters — alsof je met gesloten ogen gokt. Bij elke foto die je laat zien ("dit is een kat", "dit is een hond") vergelijkt het model zijn antwoord met het goede antwoord. Als het fout zit, passen de parameters zich een klein beetje aan.

Denk aan het verfijnen van een recept: te veel zout? Volgende keer iets minder. Te weinig suiker? Volgende keer iets meer. Na duizenden foto's zijn die parameters zo bijgesteld dat het model redelijk goed katten van honden kan onderscheiden.

Bij grote taalmodellen gaat dit om miljarden parameters. Elk parameter beïnvloedt een klein stukje van het begrip: welke woorden vaak samen voorkomen, wat de betekenis is van een zin, hoe formeel of informeel de toon moet zijn. Samen zorgen al die parameters ervoor dat het model begrijpt wat je vraagt en een nuttig antwoord kan geven.

Waarom hoor je er zoveel over?

Je ziet vaak advertenties als "dit model heeft 70 miljard parameters" of "ons nieuwe model heeft 405 miljard parameters". Dat klinkt indrukwekkend, maar meer parameters betekent niet automatisch een beter model. Het is een beetje zoals een kookboek: een boek met 10.000 recepten is niet per se beter dan een boek met 100 recepten, als die 100 recepten precies zijn wat je nodig hebt.

Meer parameters betekent wel:

• Het model kan complexere patronen leren

• Je hebt meer rekenkracht nodig om het te trainen

• Je hebt meer voorbeelddata nodig om alle parameters goed in te stellen

• Het model wordt groter en trager in gebruik

Modellen met miljarden parameters kosten miljoenen aan rekenkracht om te trainen. Kleinere modellen met minder parameters zijn vaak sneller, goedkoper en voor veel taken net zo goed — of zelfs beter.

Waar kom je het tegen?

Je ziet het aantal parameters vooral bij:

• Taalmodellen — GPT-4 (volgens schattingen honderden miljarden parameters), Claude (exact aantal niet openbaar), Llama 3.1 (8 miljard tot 405 miljard parameters, afhankelijk van de versie), Mistral (7 miljard tot 123 miljard)

• Beeldmodellen — Stable Diffusion (circa 1 miljard parameters), DALL-E, Midjourney

• Spraakherkenning — Whisper (van 39 miljoen tot 1,5 miljard parameters)

Bij het kiezen van een model voor jouw toepassing is het aantal parameters één factor, maar zeker niet de enige. Snelheid, kosten, specialisatie en kwaliteit van de training wegen vaak zwaarder.

Wat betekent dit voor jou?

Als je AI-tools gebruikt, hoef je niet precies te weten hoeveel parameters er in zitten — net zoals je niet hoeft te weten hoeveel tandwielen er in je fiets zitten om ermee te kunnen rijden. Maar het helpt wel om te begrijpen dat die parameters de "hersenen" van het model vormen: ze bepalen wat het model wel en niet kan.

Begrijp je dat een model met meer parameters niet automatisch beter is, dan kun je realistischer inschatten welke tool je nodig hebt. Voor een simpele taak (tekst samenvatten, simpele vragen beantwoorden) volstaat vaak een kleiner model. Voor complexe redeneertaken of creatief werk kan een groter model de moeite waard zijn — als je bereid bent te wachten en te betalen voor de extra rekenkracht.