Wat is Data Versioning?

Wat is data versioning eigenlijk?

Stel je voor: je hebt een recept perfect gemaakt, maar weet niet meer welke ingrediënten je precies gebruikte. Frustrerend, toch? Bij AI-modellen heb je hetzelfde probleem. Je traint een model met data, het werkt goed, maar drie maanden later wil je het verbeteren en weet je niet meer welke data je toen precies had.

Data versioning is een systeem om elke versie van je dataset te bewaren en te labelen — met een timestamp, een beschrijving van wat er veranderd is, en eventueel wie het gedaan heeft. Net zoals Git voor code, maar dan voor je trainingsdata. Elke keer dat je data toevoegt, opschoont of aanpast, krijg je een nieuwe versie die je later terug kunt halen.

Dit klinkt misschien overdreven voor een klein project, maar zodra je serieus met AI aan de slag gaat, wordt het al snel essentieel.

Waarom zou je hier iets aan hebben?

AI-modellen zijn gevoelig. Als je data verandert — bijvoorbeeld een paar duizend beelden toevoegt of een filter aanpast — kan je model opeens heel anders presteren. Zonder versioning weet je niet meer wat je precies veranderd hebt.

Denk aan een e-commerce bedrijf dat productaanbevelingen doet. Ze trainen een model op aankoopdata van januari tot maart. Het werkt prima. In april voegen ze nieuwe data toe en opeens dalen de conversies. Zonder data versioning kunnen ze niet terugkijken: zat er een fout in de nieuwe data? Was er een seizoenspatroon? Was de oude data eigenlijk beter?

Met data versioning kun je:

• Reproduceren: exact hetzelfde model opnieuw trainen met dezelfde data

• Debuggen: als iets misgaat, zie je precies wat er veranderd is sinds de laatste goede versie

• Experimenteren: verschillende datasets uitproberen en vergelijken zonder de originele kwijt te raken

• Samenwerken: teamleden weten welke data ze gebruiken, niemand werkt per ongeluk met verouderde bestanden

• Compliance: in sectoren zoals finance of healthcare moet je vaak kunnen bewijzen welke data je gebruikte voor een beslissing

Hoe werkt het in de praktijk?

Een versioning-systeem slaat niet elke keer je hele dataset opnieuw op — dat zou gigantisch veel ruimte kosten. In plaats daarvan werkt het vaak met snapshots en deltas (alleen de verschillen). Denk aan het als een slim backup-systeem dat alleen opslaat wat er veranderd is.

Je geeft elke versie een label, bijvoorbeeld "v1.0-initial", "v1.1-cleaned", "v2.0-expanded". Bij elke versie beschrijf je kort wat er nieuw is: "verwijderd: 500 corrupte beelden", "toegevoegd: 10.000 voorbeelden uit nieuwe bron".

Als je later een model traint, tag je welke data-versie je gebruikte. Zo kun je altijd terug: "dit model is getraind op data versie v1.3".

Waar kom je het tegen?

Data versioning zit ingebouwd in platforms zoals:

• DVC (Data Version Control) — open-source tool die werkt als Git maar voor data en modellen

• Weights & Biases — houdt niet alleen je modellen bij, maar ook je datasets

• MLflow — versioning voor data, modellen en experimenten

• Pachyderm — pipeline-tool met ingebouwde data versioning

• AWS S3 Versioning of Google Cloud Storage — simpele versioning op storage-niveau

• Delta Lake (Databricks) — versioning voor grote data lakes

Zelfs zonder speciale tools kun je eenvoudige versioning doen door datasets in mappen met datums of versienummers te zetten. Dat is beter dan niets, maar bij grotere projecten wil je echt een systeem dat automatisch bijhoudt wat er verandert.

Wat kun je er nu mee?

Als je zelf met AI-modellen werkt — of dat nou voor je bedrijf is of als hobby — begin dan vanaf dag één met data versioning. Zelfs als het simpel is: map per datum, korte notitie wat je deed. Het voorkomt eindeloze "welke versie was dit ook alweer?"-momenten.

Voor teams is het essentieel: zonder versioning werk je langs elkaar heen en raak je de controle kwijt over wat er gebeurt. Kies een tool die past bij je setup (DVC als je al met Git werkt, een platform als je een volledige MLOps-omgeving bouwt) en maak het onderdeel van je workflow. Je toekomstige zelf — die over drie maanden probeert uit te vogelen waarom een model niet meer werkt — zal je dankbaar zijn.