Wat is LeNet?

De opa van moderne beeldherkenning

LeNet is het convolutionele neurale netwerk waarmee alles begon. Eind jaren '80 ontwikkelde onderzoeker Yann LeCun bij AT&T Bell Labs een neuraal netwerk dat handgeschreven postcodes kon lezen — iets wat daarvoor bijna onmogelijk was voor computers. Het netwerk heette LeNet (later LeNet-5 voor de meest bekende versie uit 1998) en werd massaal ingezet door de Amerikaanse posterijen om miljoenen brieven automatisch te sorteren.

Wat LeNet bijzonder maakte: het 'keek' naar plaatjes op een slimme, gelaagde manier. In plaats van elk pixel apart te bekijken, scande het kleine stukjes van het beeld tegelijk — net zoals jij een handtekening herkent door naar de vormen en lijnen te kijken, niet door elke inktdruppel apart te analyseren. Die manier van werken heet convolutie, en daarom noemen we dit soort netwerken convolutionele neurale netwerken of CNN's.

Hoe werkte het eigenlijk?

Stel je voor: je krijgt een foto van een handgeschreven '7'. LeNet verwerkte dat plaatje in meerdere stappen:

• Laag 1-2: Het netwerk scant met kleine 'filters' over het beeld heen, op zoek naar basale vormen zoals verticale en diagonale lijntjes

• Laag 3-4: Die lijntjes worden gecombineerd tot herkenbare onderdelen — de horizontale streep bovenaan, de schuine streep naar beneden

• Laag 5-6: Uiteindelijk combineert het netwerk al die onderdelen tot een conclusie: "Dit is een 7"

Tussen die lagen zat ook 'pooling' — een techniek om het beeld steeds kleiner en abstracter te maken, zodat het netwerk niet werd afgeleid door precies waar een lijn stond, maar alleen door de vorm ervan.

Het hele netwerk bestond uit zo'n 60.000 parameters — belachelijk weinig vergeleken met moderne netwerken die miljarden parameters hebben. Maar voor die tijd was het revolutionair.

Waarom was dit zo belangrijk?

Voor LeNet probeerden onderzoekers beeldherkenning op te lossen door handmatig regels te schrijven: "een '8' heeft twee ronde vormen boven elkaar", "een '3' heeft twee bochten naar rechts". Dat werkte dramatisch slecht, want iedereen schrijft anders.

LeNet leerde zélf wat de kenmerken van cijfers waren, puur door duizenden voorbeelden te zien. Dat principe — laat het netwerk zelf patronen ontdekken in plaats van regels te programmeren — is de basis van alle moderne AI voor beeldherkenning, van gezichtsherkenning op je telefoon tot het analyseren van medische scans.

Waar kom je het tegen?

LeNet zelf gebruik je tegenwoordig niet meer — het is ver achterhaald door modernere architecturen zoals ResNet, VGG en EfficientNet. Maar als je ooit een cursus over neurale netwerken volgt, begint die waarschijnlijk met LeNet als historisch startpunt. Het laat op een overzichtelijke manier zien hoe convolutionele lagen werken, zonder de enorme complexiteit van hedendaagse netwerken.

In de academische wereld wordt LeNet nog vaak gebruikt als benchmark-model: een simpel netwerk om een nieuwe techniek mee te testen voordat je 'm op grote modellen loslaat. Het MNIST-dataset met handgeschreven cijfers — de dataset waar LeNet op trainde — is nog steeds de 'hallo wereld' van machine learning.

Van postkantoor naar Pinterest

LeNet legde de basis voor een enorme golf aan innovatie. Zonder dit netwerk hadden we waarschijnlijk geen Instagram-filters die je gezicht herkennen, geen zelfrijdende auto's die verkeersborden lezen, geen apps die planten kunnen identificeren vanuit een foto. Het principe van gelaagde convolutie — klein beginnen en steeds abstracter worden — zit nog steeds in vrijwel elk modern beeldherkenningssysteem.

Als je meer wilt weten over hoe moderne neurale netwerken werken, is LeNet een perfecte plek om te beginnen. De originele paper van LeCun ("Gradient-Based Learning Applied to Document Recognition", 1998) is nog steeds leesbaar en laat zien hoe een relatief eenvoudig idee de hele AI-wereld op zijn kop kon zetten.