Wat is Sub-Goal?

Wat is een sub-goal eigenlijk?

Stel je voor: je wilt van Amsterdam naar Rome rijden. Je navigatie-app breekt die reis op in kleinere stukken — via Utrecht, Keulen, de Alpen — voordat je uiteindelijk aankomt. Elke tussenstop is een sub-goal: een zinvolle mijlpaal die je dichter bij je eindbestemming brengt.

In AI werkt het op dezelfde manier. Een AI-agent krijgt een opdracht — bijvoorbeeld "maak de productie-efficiëntie 20% hoger" of "win dit schaakspel". Dat einddoel is vaak complex en ver weg. De agent leert daarom om het op te delen in kleinere, haalbare sub-goals: concrete tussenstappen die het grote doel dichterbij brengen.

Het verschil met gewone planning? Een sub-goal is niet altijd van tevoren bedacht door een programmeur. De agent ontdekt tijdens het leren zélf welke tussenstappen nuttig zijn — welke deelacties hem vaker naar succes leiden.

Hoe werkt het in de praktijk?

AI-systemen die met reinforcement learning werken, krijgen feedback in de vorm van punten of beloningen. Een robot die leert lopen krijgt punten als hij vooruitkomt, minpunten als hij valt. Maar "lopen" is complex: balans houden, gewicht verplaatsen, momentum opbouwen.

De agent ontdekt gaandeweg: "Als ik eerst mijn gewicht naar voren breng (sub-goal 1), dán een voet optil (sub-goal 2), en vervolgens afzet (sub-goal 3), kom ik vooruit." Die tussenstappen worden herkenbare patronen — sub-goals die de agent actief nastreeft omdat ze leiden tot de uiteindelijke beloning.

Bij complexere taken zie je hiërarchische structuren ontstaan: sub-goals die zelf weer uit kleinere sub-goals bestaan. Een robot die een voorwerp moet pakken, leert eerst "beweeg hand naar object" (hoofd-sub-goal), wat bestaat uit "strek arm uit" en "open grijper" (sub-sub-goals).

Waarom is dit waardevol?

Zonder sub-goals zou een AI-agent alleen aan het einde van een lange reeks acties feedback krijgen. Stel: een magazijnrobot moet een pakketje van A naar B brengen, deuren openen, obstakels ontwijken. Als hij alleen een beloning krijgt bij aflevering, weet hij niet wélke stappen onderweg goed waren.

Met sub-goals krijgt de agent veel vaker feedback: "Deur bereikt — goed bezig. Obstakel ontweken — nog steeds op koers." Dat versnelt het leren enorm. Menselijke trainers kunnen sub-goals ook expliciet instellen: "Bereik eerst deze hoek van de kamer, dan pas ga je naar het eindpunt."

In bedrijfsprocessen zie je dit terug bij AI die supply chains optimaliseert. Het einddoel is "minimale kosten bij maximale klanttevredenheid", maar de AI leert sub-goals als "houd voorraad tussen X en Y" of "lever binnen 48 uur" — concrete tussendoelen die samen het grotere doel realiseren.

Een voorbeeld uit de praktijk

DeepMind's AlphaGo, het systeem dat wereldkampioenen versloeg in het bordspel Go, gebruikte impliciet sub-goals. Go is zo complex dat je niet alleen naar de eindwinst kunt kijken. AlphaGo leerde posities te waarderen — territorium veroveren in een hoek, een sterke groep stenen opbouwen — als waardevolle sub-goals. Die tussendoelen brachten winst dichterbij, ook al leverde elke individuele zet nog geen punten op.

In robotica zie je het bij lopende robots: Boston Dynamics' systemen leren sub-goals als "herstel balans na verstoring" en "zet voet op stabiele ondergrond" — zonder dat een programmeur elke spierbeweging heeft voorgeschreven.

Waar kom je het tegen?

Je ziet sub-goals vooral in:

• Robotica en autonome voertuigen — een zelfrijdende auto heeft sub-goals als "kom in de juiste rijstrook", "houd veilige afstand", "rem voor dit kruispunt" op weg naar de eindbestemming

• Game-AI — computerspelers in strategiespellen leren sub-goals als "verover deze basis" of "verzamel 100 goud" voordat ze de hoofdmissie aanpakken

• Procesoptimalisatie — AI die productielijnen aanstuurt, leert sub-goals als "minimaliseer stilstand machine 3" of "houd temperatuur tussen 80-90°C"

• Personal assistants — systemen die complexe opdrachten uitvoeren ("plan een teamuitje") breken dat op in sub-goals: agenda's checken, locaties vergelijken, reservering maken

In onderzoeksomgevingen werk je met frameworks als OpenAI Gym of Unity ML-Agents, waar je sub-goals kunt definiëren en monitoren.

Wat kun je er zelf mee?

Als je werkt met AI-agents of automation, denk dan niet alleen in eindresultaten. Stel je af: welke tussenstappen zijn herkenbaar en meetbaar? Die kun je als sub-goals instellen, waardoor je AI sneller leert en je beter kunt zien waar het misgaat.

Bij het implementeren van AI in je bedrijf: begin met heldere sub-goals. Niet "verhoog omzet met 15%", maar "verbeter responstijd klantenservice tot onder 2 minuten" en "voorspel voorraadtekorten 3 dagen vooruit" — concrete stappen die samen het grotere doel dienen. Zo maak je AI-projecten overzichtelijker én succesvoller.