Wat is PaLM?

Wat is PaLM eigenlijk?

PaLM staat voor Pathways Language Model — een groot taalmodel dat Google in 2022 heeft gebouwd. Stel je voor: een AI die niet alleen zinnen kan voorspellen, maar ook kan redeneren over wiskundige problemen, code kan schrijven in meerdere programmeertalen en zelfs grappen kan uitleggen. PaLM was een van de eerste modellen die echt goed werden in dit soort complexe taken.

Het bijzondere aan PaLM was de schaal: het model had 540 miljard parameters — dat zijn de interne 'knoppen' die bepalen hoe het model tekst begrijpt en genereert. Ter vergelijking: dat is ongeveer zoveel als het aantal sterren in vijf Melkwegstelsels. Al die parameters stelden het model in staat om patronen te herkennen die kleinere modellen over het hoofd zien.

PaLM maakte gebruik van Google's Pathways-architectuur, een systeem dat het mogelijk maakt om één groot model efficiënt op duizenden chips tegelijk te trainen. Waar eerdere modellen vaak gespecialiseerd waren in één taak, was PaLM gebouwd als generalist: van het schrijven van een gedicht tot het debuggen van Python-code.

Waarom was PaLM bijzonder?

PaLM viel op door zijn prestaties op taken die om meerstaps-redeneren vragen. Neem een wiskundig vraagstuk waarbij je eerst informatie moet ontleden, dan een strategie moet bedenken en vervolgens stap voor stap naar het antwoord moet toewerken. Waar eerdere modellen vaak haperden, kon PaLM dit soort redeneerketens beter volgen.

Ook op het gebied van code was PaLM indrukwekkend. Het kon niet alleen werkende programma's schrijven, maar ook uitleggen waarom een stuk code niet werkt en hoe je het kunt verbeteren. Voor ontwikkelaars betekende dit: een AI die niet alleen als autocomplete werkt, maar ook als denkpartner.

Een andere vernieuwing: PaLM kon beter omgaan met meertalige taken. Het snapte bijvoorbeeld dat een vraag in het Nederlands gesteld kan worden, maar dat het antwoord misschien code in het Engels moet zijn — en het wisselde daar soepel tussen.

Van PaLM naar PaLM 2 en Gemini

In 2023 kwam Google met PaLM 2, een verbeterde versie die efficiënter was en beter presteerde op redeneer- en programmeertaken. PaLM 2 werd de motor achter producten als Bard (Google's chatbot) en werd geïntegreerd in Google Workspace.

Eind 2023 kondigde Google Gemini aan — een nieuw modellenreeks die PaLM opvolgde. Gemini was vanaf de grond af aan ontworpen als multimodaal systeem (tekst, beeld, audio) en verving PaLM als Google's vlaggenschip-AI. De kennis en technieken uit PaLM vormden wel de basis voor Gemini.

Waar kwam je PaLM tegen?

PaLM zelf was vooral een onderzoeksmodel — je kon er niet zomaar mee chatten zoals met ChatGPT. Maar de technologie erachter werkte wél in producten:

• Bard (nu Gemini): Google's chatbot draaide aanvankelijk op PaLM 2

• Google Workspace: functies zoals 'Help me schrijven' in Gmail en Docs gebruikten PaLM-technologie

• Vertex AI: Google's cloud-platform voor bedrijven bood toegang tot PaLM-modellen via API's

• Med-PaLM: een gespecialiseerde versie voor medische vragen, getraind op medische literatuur

Vanaf eind 2023 schakelde Google geleidelijk over naar Gemini, waardoor PaLM meer een tussenstap werd in de ontwikkeling van AI.

Wat kun je met deze kennis?

Als je begrijpt wat PaLM was, snap je ook hoe snel de AI-wereld beweegt. Wat in 2022 state-of-the-art was, is twee jaar later alweer vervangen door een nieuwe generatie. Dit patroon zie je bij alle grote AI-labs: OpenAI ging van GPT-3 naar GPT-4, Anthropic van Claude 1 naar Claude 3, en Google dus van PaLM naar Gemini.

Voor wie Google-producten gebruikt: de AI-functies die je nu ziet, bouwen voort op de fundamenten die met PaLM gelegd zijn. En voor wie zelf met AI aan de slag wil: het helpt om te weten dat 'PaLM' in documentatie of API's verwijst naar een eerdere generatie — Gemini is nu het huidige systeem waar Google op inzet.