Wat is Chunking?

Waarom in stukjes knippen?

Stel je voor dat je iemand vraagt om een heel encyclopedieën in één keer te lezen en daarna vragen erover te beantwoorden. Lastig, toch? Hetzelfde geldt voor AI-modellen. Ze hebben een beperkt 'werkgeheugen' — een maximum aantal woorden dat ze in één keer kunnen verwerken. Dat noemen we de context window. Chunking is het proces waarbij je lange documenten, rapporten of datasets opknipt in kleinere brokken (chunks) die het model wél aankan.

Denk aan een klantenservicebot die door honderden pagina's producthandleidingen moet zoeken. In plaats van alles in één keer te laden, splits je de handleiding op in paragrafen of secties. Wanneer iemand een vraag stelt, zoekt het systeem alleen de relevante chunks op en stuurt die naar het AI-model. Zo blijf je binnen de technische grenzen én krijg je sneller antwoord.

Hoe werk je dat uit?

Er zijn verschillende manieren om te chunken, afhankelijk van wat je wilt bereiken:

• Op lengte — splits na bijvoorbeeld elke 500 woorden. Simpel, maar soms knip je midden in een belangrijke gedachte.

• Op structuur — gebruik natuurlijke grenzen zoals alinea's, hoofdstukken of HTML-tags. Houdt de context beter intact.

• Op betekenis — geavanceerdere methodes analyseren waar onderwerpen wisselen en knippen daar. Vraagt meer rekenkracht, maar levert logischere brokken op.

• Met overlap — laat chunks een beetje overlappen (bijvoorbeeld de laatste 50 woorden van chunk A zijn ook de eerste 50 van chunk B), zodat verbanden tussen stukken niet verloren gaan.

Na het chunken krijgt elk stukje vaak een embeddings-vector — een soort digitale vingerafdruk waarmee je snel kunt zoeken welke chunks relevant zijn voor een vraag.

Een voorbeeld uit de praktijk

Een juridisch adviesbureau wil een chatbot bouwen die door duizenden pagina's contracten en juridische memo's kan zoeken. In plaats van elk document als geheel te behandelen, chunken ze per artikel of clausule. Wanneer een advocaat vraagt: "Wat zijn onze standaardvoorwaarden rond aansprakelijkheid?", doorzoekt het systeem alleen de chunks die over aansprakelijkheid gaan. Zo krijg je binnen seconden een antwoord, zonder dat het model verdwaalt in irrelevante pagina's over betalingsvoorwaarden of opzegtermijnen.

Waar kom je het tegen?

Chunking gebeurt achter de schermen in veel AI-toepassingen:

• Retrieval-Augmented Generation (RAG) — systemen die grote documentenbanken doorzoeken en relevante stukjes aan een chatbot voeren

• Klantenservice-chatbots — die door FAQ's, handleidingen en kennisbanken zoeken

• Zoekfuncties — zoals in Notion AI, Microsoft Copilot of Google Workspace, waar je door je eigen documenten kunt zoeken

• Document-analyse tools — die contracten, rapporten of medische dossiers samenvatten

• Embedding-databases — zoals Pinecone, Weaviate of Chroma, waar chunks worden opgeslagen met hun vectorrepresentaties

Je ziet het ook terug in bibliotheken voor ontwikkelaars, zoals LangChain of LlamaIndex, die handige chunking-functies ingebouwd hebben.

Wat kun je ermee?

Chunking klinkt misschien technisch, maar het effect is heel tastbaar: je kunt AI inzetten op grote hoeveelheden informatie zonder dat het systeem vastloopt of irrelevante antwoorden geeft. Als je een AI-assistent bouwt voor je bedrijf, bijvoorbeeld om door interne documenten te zoeken, is slimme chunking het verschil tussen een hulpmiddel dat écht helpt en een frustrerende zwarte doos.

Denk ook aan je eigen gebruik: als je een chatbot hebt die door je eigen bestanden zoekt, bepaalt de manier waarop die bestanden zijn opgeknipt hoe goed de antwoorden zijn. Slechte chunking betekent gemiste informatie of antwoorden die net langs de kern heen schieten. Goede chunking betekent dat je precies vindt wat je zoekt — alsof je een slimme assistent hebt die exact weet waar in welk dossier het antwoord staat.