Wat is Serverless Inference?

Wat is serverless inference eigenlijk?

Stel je voor: je hebt een AI-model gebouwd dat gezichten herkent op foto's. Normaal zou je een server moeten huren die 24/7 aan staat, ook als er geen enkele foto binnenkomt. Met serverless inference werkt het anders: de cloudaanbieder schakelt automatisch rekenkracht in zodra er een foto binnenkomt, doet de berekening, en schakelt daarna weer uit. Je betaalt alleen voor die paar seconden dat het model actief was.

Het woord 'serverless' is eigenlijk misleidend — er zijn wel degelijk servers, maar jij hoeft ze niet te zien of beheren. Het is een beetje zoals Uber: de auto's bestaan, maar jij hoeft er geen te bezitten of te onderhouden. Je belt er een als je hem nodig hebt.

Hoe werkt het achter de schermen?

Traditioneel draait een AI-model op een server die je zelf configureert en onderhoudt. Je moet inschatten hoeveel rekenkracht je nodig hebt (te weinig = trage antwoorden, te veel = geld verspillen). Bij serverless inference gooi je je model naar een platform zoals AWS Lambda, Google Cloud Run of Hugging Face Inference Endpoints. Het platform zorgt voor:

• Automatisch opschalen: komen er ineens 1000 verzoeken binnen? Dan start het platform meerdere kopieën van je model

• Terugschalen naar nul: geen verzoeken? Dan draait er niets, en betaal je niets

• Beheer: updates, beveiliging, monitoring — allemaal geregeld

Het model zelf wordt in een 'container' verpakt — een soort digitale doos met alles erin wat het model nodig heeft om te draaien. Zodra er een verzoek binnenkomt, haalt het platform die doos van de plank, doet de berekening, en zet 'm weer terug.

Een voorbeeld uit de praktijk

Een webshop wil productbeschrijvingen automatisch laten vertalen door een AI-model. Soms komen er honderden verzoeken per minuut (tijdens een sale), soms een paar per uur (midden in de nacht).

Met een traditionele server zou de webshop genoeg capaciteit moeten huren voor die piekuren — en die capaciteit staat 's nachts nutteloos te draaien. Met serverless inference betaalt de webshop alleen voor de momenten dat er daadwerkelijk vertalingen worden gedaan. Tijdens rustige uren kost het model niks, tijdens piekuren schaalt het automatisch mee.

Waar kom je het tegen?

Cloudplatformen:

• AWS Lambda en SageMaker Serverless Inference

• Google Cloud Run en Vertex AI

• Azure Functions en Container Instances

• Hugging Face Inference Endpoints

• Replicate (voor open-source modellen)

• Modal Labs

Typische toepassingen:

• Chatbots die niet continu verkeer krijgen

• Beeldherkenning voor uploadsystemen

• Sentimentanalyse van klantenreviews

• Real-time vertalingen in apps

• Spam-detectie in e-mailsystemen

De meeste van deze platforms bieden ook traditionele 'always-on' opties — serverless is vooral interessant als je verkeer sterk fluctueert of net begint en nog geen idee hebt hoeveel gebruik je gaat krijgen.

De keerzijde: cold starts

Er is één belangrijk nadeel: de cold start. Omdat het model niet altijd draait, duurt het eerste verzoek na een rustige periode langer — het platform moet de container eerst opstarten. Dat kan een paar seconden duren. Voor een chatbot die binnen een fractie van een seconde moet antwoorden, kan dat vervelend zijn. Voor een batch-vertaling die toch al minuten duurt, maakt het weinig uit.

Sommige platforms bieden 'warm instances' aan: ze houden minimaal één kopie actief om cold starts te vermijden, maar dan betaal je ook voor die minimale capaciteit.

Waarom zou jij hier iets aan hebben?

Serverless inference is ideaal als je:

• Wilt experimenteren zonder direct in dure hardware te investeren

• Fluctuerend verkeer hebt (denk aan nieuwsbrieven die eens per week uitgaan en sentiment-analyse triggeren)

• Geen DevOps-team hebt om servers te beheren

• Snel wilt opschalen zonder capaciteitsplanning

Voor een startup die net begint met AI is het vaak de makkelijkste manier om te starten: je focust op je product, niet op serveronderhoud. Wordt je app populair en krijg je continu verkeer? Dan kun je altijd nog overstappen naar dedicated servers — maar tegen die tijd heb je genoeg data om te weten wat je nodig hebt.

Kortom: serverless inference haalt de technische barrière weg tussen 'ik heb een model' en 'mensen kunnen mijn model gebruiken'. Je betaalt voor resultaten, niet voor stilstand.