Wat is BERT?

Wat is BERT eigenlijk?

BERT staat voor Bidirectional Encoder Representations from Transformers — maar laten we die mondvol meteen vertalen naar iets begrijpelijks. Stel je voor dat je een zin leest: "De bank was gesloten." Gaat het over een zitbank of een geldinstelling? Jij weet dat pas als je de hele zin hebt gelezen, inclusief wat erna komt. BERT werkt precies zo.

Vroegere AI-modellen lazen tekst als een boek: van links naar rechts, woord voor woord. BERT leest in twee richtingen tegelijk — het kijkt naar wat er vóór en ná een woord staat om de betekenis te snappen. Daardoor begrijpt het context veel beter dan eerdere modellen. Google ontwikkelde BERT in 2018, en het was een doorbraak in hoe computers menselijke taal verwerken.

Hoe werkt het eigenlijk?

BERT is getraind op een enorme hoeveelheid tekst — boeken, Wikipedia, nieuwsartikelen — met een slimme techniek. Onderzoekers hebben willekeurig woorden weggelakt in zinnen, en BERT moest raden welk woord daar hoorde. Niet door te gokken, maar door de context te gebruiken: "Ik drink graag [???] in de ochtend" — koffie? thee? water? Door miljoenen van dit soort puzzels op te lossen, leerde BERT hoe taal in elkaar steekt.

Dat bidirectionele lezen zit in de kern: BERT kijkt naar het woord "bank" en ziet tegelijk "gesloten" erna en "loop naar" ervoor — zo begrijpt het dat het hier om een gebouw gaat, niet om meubilair. Die dubbele blik maakt het verschil.

Waarom zou jij hier iets aan hebben?

Je gebruikt BERT waarschijnlijk al dagelijks zonder het te weten. Toen Google in 2019 BERT toevoegde aan hun zoekmachine, verbeterde dat meteen hoe goed Google snapt wat je bedoelt — vooral bij langere, genuanceerde zoekopdrachten. Type je "kan je recepten ophalen voor iemand anders", dan begrijpt Google dankzij BERT dat je het over medicijnen hebt, niet over kookrecepten.

Voor bedrijven is BERT waardevol bij:

• Klantenservice — chatbots die écht begrijpen wat een klant vraagt, ook als de vraag wat omslachtig geformuleerd is

• Documentverwerking — contracten, rapporten of klachten analyseren en begrijpen waar ze over gaan

• Zoekfuncties op websites — een interne zoekmachine die snapt wat bezoekers bedoelen, niet alleen letterlijke zoekwoorden matcht

Waar kom je het tegen?

BERT zit verweven in allerlei tools en platforms:

• Google Zoeken — verwerkt een groot deel van alle zoekopdrachten

• HuggingFace — een platform waar je BERT-modellen kunt downloaden en aanpassen voor je eigen toepassing

• Microsoft Azure — biedt BERT aan als onderdeel van hun tekstanalyse-diensten

• Chatbot-platforms zoals Rasa en Dialogflow gebruiken BERT-varianten onder de motorkap

Er bestaan inmiddels ook gespecialiseerde varianten: RoBERTa (een verbeterde versie), DistilBERT (een compactere, snellere versie) en meertalige BERT-modellen die tientallen talen tegelijk aankunnen.

Een voorbeeld uit de praktijk

Een verzekeringsmaatschappij ontvangt duizenden schademeldingen per dag — vaak met onduidelijke, lange omschrijvingen. Met BERT kunnen ze die meldingen automatisch categoriseren: gaat het om een auto-ongeluk, waterschade of inbraak? Het model leest de hele tekst, begrijpt de context ("de kelder liep vol nadat de waterleiding barstte") en wijst het meteen toe aan het juiste team. Geen handmatig doorlezen meer.

Wat maakt BERT anders dan andere modellen?

BERT was het eerste grote taalmodel dat echt bidirectioneel werkte. Latere modellen zoals GPT lezen nog steeds van links naar rechts (maar zijn getraind op voorspellen van het volgende woord), terwijl BERT tegelijk alle kanten op kijkt. Dat maakt BERT vooral sterk in begrijpen van tekst — het analyseren van wat er staat. GPT-achtige modellen zijn beter in genereren van nieuwe tekst.

Denk aan het verschil tussen een vertaler (BERT) en een schrijver (GPT): de een moet precies begrijpen wat er staat, de ander moet iets nieuws bedenken.

Wat kun je ermee?

Als je een bedrijf hebt waar veel tekst moet worden begrepen — denk aan klantvragen, juridische documenten, medische dossiers — dan is BERT interessant. Je hoeft niet zelf een model te trainen; via platforms zoals HuggingFace kun je kant-en-klare BERT-modellen downloaden, eventueel finetunen met je eigen data, en integreren in je systemen. Ook zonder technische achtergrond kun je met no-code tools experimenteren.

BERT heeft de manier veranderd waarop computers taal begrijpen — en daarmee heeft het de deur geopend naar slimmere zoekmachines, betere chatbots en tekstanalyse die écht aanvoelt alsof er iemand meeleest.