Wat is Nucleus Sampling?

Wat is nucleus sampling eigenlijk?

Stel je voor: je typt een zin in ChatGPT en het model moet het volgende woord kiezen. Het zou altijd het allerwaarschijnlijkste woord kunnen pakken — maar dan krijg je saaie, voorspelbare zinnen. Of het kiest uit álle mogelijke woorden, inclusief de gekke — dan wordt het rommelig en onlogisch.

Nucleus sampling (ook wel 'top-p sampling' genoemd) is de gulden middenweg. Het werkt zo: het model maakt een lijstje van alle mogelijke vervolgwoorden, gesorteerd op waarschijnlijkheid. Vervolgens pakt het niet de top-5 of top-10, maar genoeg woorden totdat de opgetelde kans op bijvoorbeeld 90% uitkomt. Die groep woorden heet de 'nucleus' — de kern.

Uit die nucleus kiest het model willekeurig een woord. Hierdoor krijg je gevarieerde, natuurlijke zinnen die nog steeds logisch zijn. Te rare woorden vallen buiten de nucleus, te saaie herhaling wordt voorkomen.

Waarom is dit handig?

Zonder nucleus sampling zou een AI-model vaak in herhaling vervallen of juist rare sprongen maken. Met nucleus sampling krijg je:

• Natuurlijkere variatie — elke keer dat je dezelfde vraag stelt, krijg je een net iets andere formulering

• Minder herhaling — het model blijft niet in dezelfde zinsbouw hangen

• Creatieve output — bij het schrijven van verhalen of gedichten krijg je verrassende wendingen, zonder dat het onzin wordt

• Controle over creativiteit — door de drempelwaarde (de 'p') aan te passen, bepaal je hoe breed de nucleus is

Denk aan het verschil tussen iemand die altijd dezelfde woorden gebruikt versus iemand die afwisselt zonder wartaal uit te slaan — dat laatste is nucleus sampling.

Hoe werkt de 'p' precies?

De 'p' in top-p sampling is een percentage tussen 0 en 1. Stel je instelt p=0.9, dan neemt het model genoeg woorden totdat hun gezamenlijke kans 90% is. De overige 10% — de minst waarschijnlijke woorden — vallen af.

• Lage p (bijv. 0.5) — smalle nucleus, conservatievere keuzes, voorspelbaardere tekst

• Hoge p (bijv. 0.95) — brede nucleus, meer verrassingen, creatievere output

Meeste chatbots gebruiken standaard een p tussen 0.85 en 0.95 voor een goede balans.

Waar kom je het tegen?

Bijna elk modern AI-tekstmodel gebruikt nucleus sampling als standaard samplingmethode:

• ChatGPT (OpenAI) — instelbaar via de API, standaard actief

• Claude (Anthropic) — gebruikt nucleus sampling voor natuurlijke gesprekken

• Gemini (Google) — ook hier is top-p aanpasbaar in de API

• Llama-modellen (Meta) — open-source modellen waarbij je zelf de p kunt instellen

• Mistral — Franse AI-modellen met nucleus sampling

In de meeste chatinterfaces merk je het niet direct — het draait op de achtergrond. Maar als je via een API werkt of met tools zoals LM Studio of Ollama lokaal modellen draait, zie je vaak een schuifje voor 'top_p' of 'nucleus sampling'.

Een praktijkvoorbeeld

Stel, het model moet de zin afmaken: "De kat sprong op de..."

Zonder nucleus sampling (altijd meest waarschijnlijke woord): "De kat sprong op de tafel."

Met nucleus sampling (p=0.9, uit top 90% kansen kiezen): Mogelijke voltooiingen: "tafel" (40% kans), "stoel" (25%), "vensterbank" (15%), "bank" (10%) — samen 90%. Het model kiest willekeurig uit deze vier. Zo krijg je afwisseling zonder rare woorden zoals "tandenborstel" (0,001% kans, valt buiten de nucleus).

Wil je er zelf mee experimenteren?

Als je ChatGPT of Claude via de API gebruikt, kun je de 'top_p' parameter aanpassen. Probeer eens dezelfde vraag te stellen met p=0.5 (saaier, veiliger) en p=0.95 (creatiever, verrassender) — je zult het verschil meteen merken. Voor het schrijven van zakelijke e-mails wil je misschien een lagere p, voor brainstormsessies of creatief schrijven juist een hogere. Zo haal je meer uit je AI-tools door te begrijpen hoe ze hun woorden kiezen.