Wat is Dense Retrieval?

Zoeken op betekenis in plaats van op woorden

Stel je voor dat je in een enorme bibliotheek zoekt naar informatie over "auto's die zichzelf besturen". Met traditioneel zoeken krijg je alleen documenten waar letterlijk die woorden in staan. Maar er zijn vast ook waardevolle teksten over "autonome voertuigen" of "zelfrijdende technologie" — woorden die je niet gebruikte, maar wel precies gaan over wat je bedoelt.

Dense Retrieval lost dit op. Het is een zoektechniek waarbij een AI-model je vraag en alle documenten omzet naar numerieke vectoren — lange reeksen getallen die de betekenis vastleggen. Documenten met een vergelijkbare betekenis krijgen vectoren die dicht bij elkaar liggen in een abstracte ruimte, vandaar de naam "dense" (dicht op elkaar).

De techniek gebruikt meestal een Neural Network (vaak een Transformer-model) dat getraind is om zinnen en documenten te begrijpen. Als jij zoekt naar "auto's die zichzelf besturen", maakt het model een vector van je zoekvraag. Vervolgens berekent het welke document-vectoren het dichtst in de buurt liggen — en die documenten zijn waarschijnlijk relevant, ook al gebruiken ze andere woorden.

Hoe werkt het eigenlijk?

Het proces bestaat uit drie stappen:

• Encoderen: een speciaal AI-model (een "encoder") leest elk document en maakt er een vector van — bijvoorbeeld een lijst van 768 getallen die de betekenis van dat document representeren. Hetzelfde gebeurt met jouw zoekvraag.

• Indexeren: alle document-vectoren worden opgeslagen in een speciale database die supersnel kan zoeken tussen miljoenen vectoren.

• Ophalen: als je een vraag stelt, maakt het model een vector van je vraag en zoekt de database naar de meest vergelijkbare document-vectoren. Die documenten krijg je als resultaat.

Het verschil met ouderwetse zoeksystemen ("sparse retrieval" of keyword-zoeken) is dat je niet meer afhankelijk bent van exacte woordmatches. Dense Retrieval snapt synoniemen, context en zelfs subtiele betekenisverschillen.

Een voorbeeld uit de praktijk

Stel: een grote verzekeraar heeft duizenden beleidsdocumenten, klantenhandleidingen en interne notities. Een medewerker zoekt naar "Wat moet ik doen als een klant schade meldt na een storm?"

Met traditioneel zoeken krijg je alleen documenten waarin "storm" en "schade" voorkomen. Maar met Dense Retrieval vindt het systeem ook documenten over "natuurrampen", "weerincidenten" en "calamiteitenprotocol" — omdat de betekenis overeenkomt, ook al staan de exacte woorden er niet in.

Of neem een chatbot in de klantenservice. Als iemand vraagt "Hoe krijg ik mijn geld terug?", kan Dense Retrieval relevante artikelen over "restitutie", "terugbetaling" of "refund policy" vinden — ook als het woord "geld" daar niet letterlijk in staat.

Waar kom je het tegen?

Dense Retrieval zit onder de motorkap van moderne AI-systemen die grote hoeveelheden tekst doorzoeken:

• Chatbots en AI-assistenten — wanneer je een vraag stelt aan een bedrijfschatbot die z'n eigen kennisbank doorzoekt, gebruikt die vaak Dense Retrieval om relevante artikelen te vinden voordat het antwoord geformuleerd wordt

• Zoekmachines — moderne enterprise search-tools (zoals Elastic, Algolia of specifieke AI-zoekoplossingen) combineren vaak keyword-zoeken met Dense Retrieval voor betere resultaten

• Retrieval-Augmented Generation (RAG) — een populaire techniek waarbij een Large Language Model eerst relevante documenten ophaalt (vaak via Dense Retrieval) en die vervolgens gebruikt om een antwoord te genereren. Zo kan een AI actuele of bedrijfsspecifieke informatie gebruiken zonder dat die in de training zat.

• Legal & compliance-tools — systemen die juridische documenten, contracten of regelgeving doorzoeken op basis van betekenis in plaats van exacte termen

• Interne kennisbanken — bedrijven die al hun documentatie, notities en rapporten doorzoekbaar maken voor medewerkers

Als je ooit een chatbot hebt gebruikt die verrassend goed snapte wat je bedoelde — ook al formuleerde je je vraag anders dan verwacht — dan heb je waarschijnlijk Dense Retrieval in actie gezien.

Wat kun je ermee?

Dense Retrieval is vooral waardevol als je te maken hebt met veel tekst en je wilt dat mensen (of AI-systemen) snel vinden wat ze zoeken — zonder dat ze precies de juiste zoekwoorden hoeven te kennen.

Als je aan de slag gaat met een chatbot, interne zoekmachine of RAG-systeem voor je organisatie, vraag dan expliciet of het systeem Dense Retrieval ondersteunt. Dat maakt vaak het verschil tussen "het vindt alleen letterlijke matches" en "het begrijpt echt wat ik bedoel".

Voor ontwikkelaars: bekende Dense Retrieval-modellen zijn onder andere DPR (Dense Passage Retrieval), ColBERT en modellen van services zoals OpenAI Embeddings of Cohere. Die modellen kun je integreren in je eigen zoek- of chatbot-oplossing. De techniek is geen rocket science meer — met de juiste tools kun je het binnen een paar uur aan de praat krijgen.