Wat is Neural Turing Machine?

Wat is een Neural Turing Machine?

Stel je voor: een neuraal netwerk dat informatie kan opslaan en later weer opzoeken — net zoals jij Post-its op je bureau plakt of dingen noteert in je agenda. Dat is in essentie een Neural Turing Machine (NTM).

Traditional neurale netwerken werken vooral met wat ze 'zien' op dat moment. Ze hebben wel parameters (wat ze tijdens training geleerd hebben), maar kunnen tijdens het verwerken van een vraag niet snel iets opschrijven en later weer opzoeken. Een NTM heeft daarnaast een extern geheugen — een soort kladblok — waar het tijdens het werk informatie kan lezen en schrijven.

De naam verwijst naar de klassieke Turing Machine uit de informatica — een theoretisch computermodel dat ook een tape heeft waarop het kan lezen en schrijven. Een Neural Turing Machine combineert dat idee met moderne deep learning: in plaats van vaste instructies leert het netwerk zelf hoe het zijn geheugen slim gebruikt.

Hoe werkt het eigenlijk?

Een NTM bestaat uit twee onderdelen:

• Een controller — dat is het eigenlijke neurale netwerk (vaak een LSTM of ander recurrent netwerk). Dit deel doet het denken.

• Een geheugentape — een soort raster met plekjes waar informatie staat. Denk aan een Excel-sheet met cellen.

De controller heeft twee speciale trucjes:

• Lezen: hij kijkt naar een of meer plekken in het geheugen en haalt informatie op.

• Schrijven: hij kan nieuwe informatie toevoegen of oude informatie updaten.

Het bijzondere is dat het netwerk leert waar het moet kijken en wat het moet opslaan. Dat gebeurt via een mechanisme dat attention heet — het netwerk leert een soort spotlight te richten op de juiste geheugenplaatsen. Net zoals jij leert welke Post-it je moet pakken als je zoekt naar een telefoonnummer.

Een voorbeeld uit de praktijk

Stel: je wilt een netwerk leren om een reeks getallen te kopiëren. Je geeft het [3, 7, 2, 9] en het moet [3, 7, 2, 9] teruggeven.

Een gewoon neuraal netwerk moet dat uit zijn hoofd onthouden — lastig bij lange reeksen. Een NTM schrijft elk getal naar een plekje in het geheugen terwijl het de input leest, en leest ze later één voor één weer terug. Precies zoals jij een boodschappenlijstje maakt in plaats van alles te onthouden.

In experimenten blijken NTM's beter te zijn in taken die 'redeneren met informatie' vereisen: dingen sorteren, kopiëren, simpele algoritmes leren.

Waar kom je het tegen?

Neural Turing Machines zijn vooral een onderzoeksonderwerp. Ze werden in 2014 geïntroduceerd door onderzoekers van DeepMind (het team achter AlphaGo). Het idee is invloedrijk geweest, maar je vindt ze niet direct terug in ChatGPT of andere grote taalmodellen.

Wel zie je verwante concepten:

• Differentiable Neural Computers (DNC) — een doorontwikkeling van NTM's, ook van DeepMind.

• Memory Networks en Memory-Augmented Neural Networks — andere architecturen die extern geheugen gebruiken.

• Attention-mechanismen in Transformers (het type netwerk achter GPT, Claude, Gemini) — die lenen ideeën van hoe NTM's hun geheugen aanspreken, maar op een andere manier.

In de praktijk worden NTM's gebruikt in experimentele settings: robotica die moet redeneren over een reeks acties, of games waarin een AI moet onthouden wat het eerder gezien heeft.

Waarom is dit relevant voor jou?

Als je ooit gehoord hebt dat "AI geen geheugen heeft" of "modellen kunnen niet leren terwijl ze werken" — Neural Turing Machines laten zien dat dat technisch wel kan. Het principe van extern geheugen is belangrijk voor de volgende generatie AI-systemen die niet alleen patronen herkennen, maar ook moeten redeneren, plannen en informatie combineren.

Begrijpen hoe NTM's werken helpt je inzien wat de grenzen zijn van huidige AI — en waar ontwikkelaars naartoe werken. Het verklaart ook waarom sommige taken (zoals lange teksten samenvatten of een reeks instructies volgen) soms moeizaam gaan: het ontbreekt aan een flexibel, schrijfbaar geheugen zoals een NTM dat heeft.