Dat lijkt wellicht een open deur, ware het niet dat kunst­ma­tige intel­li­gentie vaak wordt besproken alsof het vooral draait om steeds grotere modellen, krach­ti­gere chips en slimmer opge­bouwde soft­ware. Maar volgens Gaël Varo­quaux, CSO van Probabl en onder­zoeks­di­rec­teur bij Inria (het Franse nati­o­nale insti­tuut voor research in digital science en tech­no­logie), mist die bena­de­ring een belang­rijk punt. AI mag dan het zicht­bare eind­pro­duct zijn, de werke­lijke basis ligt in data science. Niet als program­meer­dis­ci­pline, maar als statis­ti­sche manier van denken.

Die bood­schap is rele­vant nu steeds meer orga­ni­sa­ties AI-systemen in productie willen nemen. Gene­ra­tieve AI, taal­mo­dellen en AI-agents beloven processen te auto­ma­ti­seren, beslis­singen te onder­steunen en kennis­werk te versnellen. Tege­lijk lopen bedrijven en over­heden tegen dezelfde vraag aan: wanneer is een AI-uitkomst eigen­lijk betrouw­baar genoeg om ernaar te handelen? Volgens Varo­quaux ligt het antwoord niet alleen in betere modellen, maar vooral in beter begrip van data, onze­ker­heid, bias en vali­datie.

Data science is niet hetzelfde als AI, stelt hij vast. Het is eerder de voedings­bodem waaruit moderne AI is ontstaan. De kern van data science is het gebruiken van data om betere modellen en inzichten te bouwen. Dat gebeurt in uiteen­lo­pende toepas­singen: van gezond­heids­zorg en logis­tiek tot produc­tie­op­ti­ma­li­satie, frau­de­de­tectie, aanbe­ve­lings­sys­temen en cyber­se­cu­rity. Dezelfde manier van werken heeft ook de basis gelegd voor de huidige gene­ratie beeld- en taal­mo­dellen.

Data science ≠ software engineering

Toch wordt data science in orga­ni­sa­ties nog vaak behan­deld als een vorm van soft­ware engi­nee­ring. Dat is volgens Varo­quaux te beperkt. Natuur­lijk speelt code een rol, maar de echte moei­lijk­heid zit ergens anders: in statis­tisch rede­neren. Welke data zijn verza­meld? Wat ontbreekt er? Waar zit verte­ke­ning? Kan een model gene­ra­li­seren naar nieuwe situ­a­ties? En onder­steunen de voor­spel­lingen daad­wer­ke­lijk de beslis­singen waar­voor ze worden gebruikt?

Die vragen worden belang­rijker naar­mate AI-systemen zelf­stan­diger gaan opereren. Zeker bij AI-agents, die niet alleen infor­matie geven maar ook acties mogen uitvoeren, kunnen fouten direct gevolgen hebben. Een model dat over­tui­gend klinkt maar op de verkeerde data is geba­seerd, kan dan leiden tot verkeerde adviezen, verkeerde prio­ri­teiten of zelfs onge­wenste auto­ma­ti­sche beslis­singen.

AI-uitkomsten zijn probabilistisch

Een centraal probleem is dat AI-uitkom­sten proba­bi­lis­tisch zijn. Een taal­model geeft geen antwoord zoals een klas­sieke regel­ge­ba­seerde appli­catie dat doet. Het herkent patronen, legt verbanden en produ­ceert een waar­schijn­lijke uitkomst op basis van enorme hoeveel­heden gege­vens. Dat werkt indruk­wek­kend goed bij veel taken, maar het bete­kent ook dat onze­ker­heid nooit volledig verdwijnt.

Daarom wijst Varo­quaux op het belang van kali­bratie: als een model aangeeft voor 80 procent zeker te zijn, zou het in onge­veer 80 procent van de gevallen gelijk moeten hebben. In de prak­tijk is dat echter lastiger dan het lijkt. Een model kan gemid­deld rede­lijk goed geka­li­breerd zijn, terwijl het voor speci­fieke groepen of onder­werpen grote fouten maakt. Bijvoor­beeld omdat bepaalde talen, landen, personen of kennis­do­meinen veel beter verte­gen­woor­digd zijn in de trai­nings­data dan andere.

Dat maakt AI-fouten niet alleen tech­nisch, maar ook sociaal en orga­ni­sa­to­risch rele­vant. Een model kan bij bekende onder­werpen betrouw­baar lijken, maar bij minder goed gedo­cu­men­teerde onder­werpen met even­veel zelf­ver­trouwen verkeerde infor­matie geven. Voor bedrijven en over­heden is dat een belang­rijk aandachts­punt. Zeker wanneer AI wordt gebruikt in domeinen waar beslis­singen impact hebben op mensen, processen of middelen, is gemid­delde nauw­keu­rig­heid onvol­doende. Orga­ni­sa­ties moeten weten waar en voor wie een model faalt.

Zwakke plekken zichtbaar maken

Data science biedt de methoden om die zwakke plekken zicht­baar te maken, schrijft Varo­quaux. Het helpt onder­scheid te maken tussen fouten die te verbe­teren zijn en onze­ker­heid die inhe­rent is aan de data. Sommige verschijn­selen zijn nu eenmaal moei­lijk of onmo­ge­lijk exact te voor­spellen op basis van de beschik­bare gege­vens. Andere fouten wijzen juist op tekort­ko­mingen in het model, de dataset of de manier waarop data zijn verza­meld.

Dat onder­scheid is cruciaal. Meer data of een groter model is niet altijd de oplos­sing. Als de beschik­bare data niet repre­sen­ta­tief zijn voor de situ­atie waarin het model wordt gebruikt, kan opschalen het probleem zelfs verhullen. Een model kan dan steeds beter worden in het repro­du­ceren van een verte­kend beeld van de werke­lijk­heid. Vooral selectie-bias is daarbij gevaarlijk,meent Varo­quaux: de dataset lijkt rijk, maar is ontstaan via een proces dat de relatie tussen input en uitkomst verstoort.

Een bekend voor­beeld komt uit de zorg. Een model dat pati­ënt­uit­kom­sten voor­spelt op basis van histo­ri­sche data kan leren dat behan­delde pati­ënten slech­tere uitkom­sten hebben. Dat is op zich­zelf logisch, omdat juist zieke pati­ënten vaker behan­deld worden. Maar als zo’n model vervol­gens wordt gebruikt om behan­del­be­slis­singen te onder­steunen, kan het de verkeerde conclusie trekken: niet behan­delen lijkt statis­tisch gunstiger, terwijl behan­de­ling juist nodig kan zijn. In zo’n geval is niet alleen voor­spel­ling nodig, maar causaal rede­neren.

Patronen herkennen én beslissingen sturen?

Daar raakt data science aan een van de grootste uitda­gingen voor enter­prise AI. Veel orga­ni­sa­ties willen AI niet alleen inzetten om patronen te herkennen, maar ook om beslis­singen te sturen. Dan is het niet genoeg om te weten wat ‑waar­schijn­lijk- gebeurt. De vraag wordt wat er gebeurt als een orga­ni­satie ingrijpt. Welke actie veran­dert de uitkomst? En is dat effect echt af te leiden uit de beschik­bare data? Dat zijn geen eenvou­dige machine learning-vragen, maar klas­sieke data­s­cience-vragen waarin statis­tiek, domein­kennis en vali­datie samen­komen.

Ook vali­datie blijft een belang­rijk knel­punt, meent Varo­quaux. De basis­regel is eenvoudig: test een model op data waarop het niet is getraind. In de prak­tijk gaat dat vaak mis. Data leakage, waarbij infor­matie uit de testset onbe­doeld in de trai­nings­fase terecht­komt, kan pres­ta­ties kunst­matig opblazen. Een model lijkt dan sterk in ontwik­ke­ling, maar valt tegen zodra het in productie wordt gebruikt.

Daar komt bij dat de gekozen meet­waarde grote invloed heeft op het beeld van succes. Accu­racy is eenvoudig te begrijpen, maar kan mislei­dend zijn bij scheve data­sets. Een frau­de­model kan bijvoor­beeld een hoge nauw­keu­rig­heid halen door bijna alles als niet-fraude te clas­si­fi­ceren, terwijl het zake­lijk weinig waarde toevoegt. Goede evalu­atie moet daarom aansluiten op de werke­lijke toepas­sing: kosten, risico’s, beslis­sings­waarde en impact.

Aandacht verbreden

Voor AI in productie bete­kent dit dat orga­ni­sa­ties hun aandacht moeten verbreden. Het bouwen of inkopen van een model is slechts één onder­deel van het proces. Minstens zo belang­rijk zijn data­kwa­li­teit, repre­sen­ta­ti­vi­teit, onze­ker­heids­in­schat­ting, evalu­a­tie­me­tho­diek en moni­to­ring na inge­bruik­name. Zeker bij toepas­singen in indu­strie, zorg, finance, over­heid en logis­tiek zijn die vragen bepa­lend voor de vraag of AI betrouw­baar genoeg is.

De bood­schap van Varo­quaux past daarmee in een bredere verschui­ving in de AI-markt. Na de eerste golf van enthou­si­asme over gene­ra­tieve AI groeit de aandacht voor productie, gover­nance en betrouw­baar­heid. Orga­ni­sa­ties willen niet alleen expe­ri­men­teren met chat­bots of copi­lots, maar AI-systemen inzetten in echte processen. Juist daar blijkt dat statis­tisch denken geen acade­misch detail is, maar een prak­ti­sche voor­waarde.

Data science is dus niet achter­haald door de opkomst van grote AI-modellen. Inte­gen­deel, stelt Varo­quaux: de disci­pline wordt juist belang­rijker. Naar­mate AI krach­tiger wordt en dichter op besluit­vor­ming komt te zitten, neemt de nood­zaak toe om beter te begrijpen wat data wel en niet kunnen zeggen. De toekomst van AI draait daar­door niet alleen om schaal, auto­ma­ti­se­ring en model­pres­ta­ties, maar ook om de vraag of orga­ni­sa­ties zorg­vuldig genoeg rede­neren over de data waarop hun systemen steunen.

Wie AI betrouw­baar wil maken, moet daarom terug naar de basis, aldus Varo­quaux in zijn blog post. Niet omdat AI minder indruk­wek­kend is dan vaak wordt voor­ge­steld, maar omdat de waarde ervan uitein­de­lijk staat of valt met de kwali­teit van de data­we­ten­schap­pe­lijke onder­bou­wing. Data science is misschien niet hetzelfde als AI, maar zonder data science blijft AI een systeem dat over­tui­gend kan klinken zonder dat duide­lijk is wanneer het gelijk heeft.