Wat is Long Short-Term Memory?

Wat is het probleem dat dit oplost?

Stel je voor dat je een zin woord voor woord voorleest aan iemand die na elk woord alles alweer vergeten is. Bij het vijfde woord weet diegene niet meer wat het eerste woord was. Dat is precies het probleem dat gewone neurale netwerken hebben: ze kunnen moeilijk onthouden wat ze eerder hebben gezien.

Long Short-Term Memory — meestal afgekort tot LSTM — is een slim soort neuraal netwerk dat wél dingen kan onthouden over langere tijd. Het werd in 1997 bedacht door onderzoekers Sepp Hochreiter en Jürgen Schmidhuber, en werd vooral populair toen bleek hoe goed het werkt voor taken waarbij context belangrijk is.

Hoe werkt het eigenlijk?

Denk aan LSTM als een lopende band met slim geplaatste poortjes. Terwijl informatie langskomt (bijvoorbeeld woorden in een zin), besluit het netwerk bij elke stap drie dingen:

• Wat mag ik vergeten? — Een poortje dat oude, irrelevante informatie weggooit

• Wat moet ik onthouden? — Een poortje dat nieuwe belangrijke informatie toevoegt

• Wat deel ik nu? — Een poortje dat bepaalt welke informatie naar de volgende stap gaat

Dit noemen we de "cellen" en "poorten" van een LSTM. Door deze mechanismen kan het netwerk bijvoorbeeld onthouden dat een zin begon met "hij" in plaats van "zij", en bij het vijftiende woord nog steeds de juiste verwijzing maken.

Het slimme is dat het netwerk zelf leert wat belangrijk is om te onthouden en wat niet — dat hoef je er niet in te programmeren.

Een voorbeeld uit de praktijk

Bij automatische vertalingen moet een systeem vaak een hele zin begrijpen voordat het kan vertalen. In het Duits staat het werkwoord bijvoorbeeld vaak helemaal aan het eind. Een LSTM kan het begin van de zin onthouden totdat het bij dat werkwoord komt, en dan pas een goede vertaling maken.

Of neem spraakherkenning: als iemand zegt "Ik ga morgen naar de..." en even pauzeert, moet het systeem zich die context herinneren om te begrijpen dat het volgende woord waarschijnlijk een locatie is.

Waar kom je het tegen?

LSTM's zijn vooral populair geweest voor:

• Vertalingen — vroege versies van Google Translate gebruikten LSTM's

• Spraakherkenning — Siri, Google Assistant en andere stemassistenten gebruikten LSTM's in hun systemen

• Tekstvoorspelling — slim typen op je telefoon

• Tijdreeks-voorspellingen — aandelen, weer, verkeersstromen

• Muziekgeneratie — omdat muziek ook over tijd werkt

Tegenwoordig worden LSTM's steeds vaker vervangen door nieuwere architecturen zoals Transformers (waar ChatGPT en vergelijkbare modellen op draaien), maar ze worden nog steeds gebruikt in situaties waar je niet superveel rekenkracht hebt of waar de data sterk opeenvolgend is.

Wat heb je eraan?

Als ondernemer of professional hoef je LSTM's niet zelf te bouwen, maar het helpt om te begrijpen dat AI-systemen voor taal of spraak vaak een vorm van "geheugen" nodig hebben. Als je een chatbot laat maken of een voorspellingstool voor tijdreeksen, is de kans groot dat er ergens een LSTM (of een modernere variant) in zit.

Het verklaart ook waarom sommige AI-systemen context binnen één gesprek goed kunnen volgen: ze onthouden wat er eerder gezegd is. Wil je dat je AI-toepassing dat ook doet? Dan is een netwerk met geheugen — zoals LSTM — onderdeel van de oplossing.