Wat is Mean Reciprocal Rank?

Wat is Mean Reciprocal Rank eigenlijk?

Stel je voor: je typt een vraag in een zoekmachine en krijgt tien resultaten. Het antwoord dat je zoekt staat op plek drie. Een beetje vervelend, want je moet eerst twee irrelevante resultaten voorbij scrollen. Mean Reciprocal Rank (afgekort: MRR) is een cijfer dat meet hoe vaak een systeem het juiste antwoord direct bovenaan zet — en hoe vaak het wat lager in de lijst staat.

De naam klinkt ingewikkeld, maar de logica is simpel. Voor elk resultaat kijk je naar de positie van het eerste correcte antwoord. Staat het op plek 1? Dan krijg je 1 punt (1 gedeeld door 1). Staat het op plek 2? Dan krijg je 0,5 punt (1 gedeeld door 2). Op plek 3? Dan 0,33 punt. En zo verder. Van al die scores neem je het gemiddelde — dat is je MRR.

Een MRR van 1,0 betekent: het systeem zet het goede antwoord altijd bovenaan. Een MRR van 0,5 betekent: gemiddeld staat het goede antwoord op plek 2. Hoe lager het getal, hoe verder je moet zoeken voordat je vindt wat je nodig hebt.

Waarom gebruiken AI-teams dit?

AI-systemen leveren vaak niet één antwoord, maar een ranglijst van mogelijkheden. Denk aan een chatbot die productaanbevelingen doet, een zoekmachine die documenten vindt, of een AI-assistent die code-suggesties geeft. In al die gevallen wil je dat het beste resultaat bovenaan staat — niet ergens halverwege.

Mean Reciprocal Rank helpt ontwikkelaars te meten hoe goed hun systeem hierin is. Het geeft één helder cijfer dat je kunt volgen over tijd: wordt het model beter door een aanpassing? Of juist slechter? Dat zie je direct terug in de MRR.

Het voordeel van MRR is dat het vooral kijkt naar die eerste correcte hit. Voor de meeste gebruikers is dat het belangrijkst — niemand bladert graag door tien pagina's resultaten. Andere metrics (zoals precision of recall) kijken breder, maar MRR focust op wat gebruikers direct zien.

Een voorbeeld uit de praktijk

Stel: een klantenservice-chatbot krijgt drie vragen:

• Vraag 1: "Hoe kan ik mijn wachtwoord resetten?" — Het juiste artikel staat op positie 1. Score: 1/1 = 1,0

• Vraag 2: "Wat zijn jullie openingstijden?" — Het juiste artikel staat op positie 3. Score: 1/3 = 0,33

• Vraag 3: "Kan ik mijn bestelling annuleren?" — Het juiste artikel staat op positie 2. Score: 1/2 = 0,5

De MRR is het gemiddelde: (1,0 + 0,33 + 0,5) / 3 = 0,61. Dat betekent: gemiddeld staat het goede antwoord tussen positie 1 en 2. Niet slecht, maar er is ruimte voor verbetering.

Als het team de chatbot aanpast en de MRR stijgt naar 0,85, weten ze dat gebruikers nu sneller het juiste antwoord vinden. Dat is direct meetbaar, zonder dat je honderden klanttevredenheidsformulieren hoeft te analyseren.

Waar kom je het tegen?

Mean Reciprocal Rank wordt vaak gebruikt bij:

• Zoekmachines en retrieval-systemen — zoals de zoekfunctie in documentatie-sites of interne bedrijfswikis

• Vraag-antwoord AI's — chatbots die uit een database het beste antwoord moeten vissen

• Aanbevelingssystemen — denk aan productzoeken in webshops of content-suggesties

• RAG-systemen (Retrieval-Augmented Generation) — waar een AI eerst relevante documenten ophaalt voordat het een antwoord genereert

• Code-assistenten — zoals GitHub Copilot, waar je wilt dat de beste code-suggestie bovenaan staat

In de praktijk zie je MRR vaak in dashboards of testrapportages naast andere cijfers zoals accuracy of F1-score. Het geeft ontwikkelaars een goed gevoel voor gebruikerservaring: hoe snel krijgt iemand wat ie zoekt?

Wat kun je er zelf mee?

Als je een AI-systeem bouwt of laat bouwen dat resultaten rangschikt — van producten tot antwoorden tot documenten — is Mean Reciprocal Rank een handige manier om te meten of je op de goede weg zit. Het dwingt je te denken vanuit de gebruiker: staat het goede antwoord waar ie het verwacht? Of moet ie te veel scrollen?

Ook als niet-technicus kun je dit begrip gebruiken in gesprekken met ontwikkelaars: vraag naar de MRR van jullie zoekfunctie of chatbot. Als die laag is (onder de 0,5), weet je dat gebruikers waarschijnlijk gefrustreerd raken. Dat is een concreet verbeterpunt, zonder dat je code hoeft te begrijpen.