Wat is Markov Chain?

Wat is een Markov Chain eigenlijk?

Stel je voor: je speelt een bordspel waarbij je elke beurt dobbelstenen gooit om te bepalen waar je naartoe gaat. Waar je nu staat bepaalt welke vakjes je kunt bereiken — maar het maakt niet uit hoe je daar bent gekomen. Of je via Park of via Station bent aangekomen: de dobbelstenen geven dezelfde kansen voor je volgende zet.

Dat is precies wat een Markov Chain doet. Het is een wiskundig model dat beschrijft hoe iets van de ene toestand (zoals "zonnig weer") naar de andere toestand ("regenachtig weer") springt, puur op basis van kansen. En het cruciale: het systeem heeft geen geheugen. Alleen je huidige positie bepaalt waar je daarna naartoe kunt.

In AI-context zie je Markov Chains vooral terug als fundament onder meer geavanceerde technieken. Ze vormen bijvoorbeeld de basis van Markov Decision Processes (MDPs), die op hun beurt de ruggengraat zijn van veel Reinforcement Learning-algoritmes.

Hoe werkt het in de praktijk?

Een Markov Chain bestaat uit:

• Toestanden — bijvoorbeeld "gebruiker is op de homepage", "gebruiker leest artikel", "gebruiker verlaat site"

• Overgangskansen — de kans dat je van de ene naar de andere toestand gaat (bijvoorbeeld 70% kans dat iemand van homepage naar een artikel klikt)

• De Markov-eigenschap — alleen je huidige toestand telt, niet hoe je daar gekomen bent

Een voorbeeld: stel dat een webshop wil voorspellen hoe bezoekers door de site navigeren. Ze modelleren elke pagina als een toestand. Door te kijken naar historische klikdata kunnen ze berekenen: "Als iemand op de productpagina zit, is er 40% kans dat ze naar de winkelwagen gaan, 30% dat ze teruggaan naar zoeken, en 30% dat ze de site verlaten." Met die overgangskansen kun je simuleren hoe een gemiddelde bezoeker door de site beweegt.

Waarom is dit relevant voor AI?

In Reinforcement Learning wil je een agent leren om slimme beslissingen te nemen in een omgeving. Die omgeving wordt vaak gemodelleerd als een Markov Decision Process — een uitbreiding van een Markov Chain waarbij de agent ook acties kan kiezen die de overgangskansen beïnvloeden.

Daarnaast zie je Markov Chains terug in:

• Tekstgeneratie — vroege chatbots gebruikten Markov-modellen om het volgende woord te kiezen op basis van het huidige woord (moderne taalmodellen zoals GPT zijn veel geavanceerder, maar het principe van "voorspellen op basis van context" heeft hier zijn wortels)

• Aanbevelingssystemen — voorspellen welke pagina of product een gebruiker waarschijnlijk als volgende bekijkt

• Financiële modellen — simuleren van aandelenkoersen of kredietrisico's

• Spraakherkenning — het oorspronkelijke Hidden Markov Model was decennialang de standaard

Waar kom je het tegen?

Je ziet Markov Chains niet direct als product, maar wel als bouwsteen:

• In de theorie achter Reinforcement Learning-frameworks zoals OpenAI Gym, Stable Baselines3, of Ray RLlib

• In klassieke AI-cursussen en leerboeken (zoals Sutton & Barto's "Reinforcement Learning: An Introduction")

• In simulatiesoftware voor operationeel onderzoek, financiële risico-analyse, of supply chain management

• Als voorloper van modernere modellen — veel huidige technieken zijn "Markov Chains met extra stappen"

Wat kun je ermee?

Als je begrijpt hoe Markov Chains werken, snap je meteen ook een groot deel van hoe Reinforcement Learning in elkaar steekt. Je leert denken in toestanden, overgangen en kansen — een mentaal model dat je helpt bij het ontwerpen van agenten die moeten leren in onzekere omgevingen.

Wil je dieper duiken? Begin met het modelleren van een simpel systeem uit je eigen werk: hoe beweegt een klant door je verkoopproces? Welke toestanden zijn er, en wat zijn de overgangskansen? Zodra je dat hebt, kun je voorspellen waar knelpunten zitten — of waar een slimme interventie (een actie, zoals in Reinforcement Learning) het meeste effect heeft.