Voor IT-mana­gers en CIO’s die steeds meer AI-toepas­singen in hun infra­struc­tuur opnemen, ontstaat een nieuw probleem: hoe meet je eigen­lijk wat AI werke­lijk kost en welke zake­lijke waarde daar tegen­over staat? De nieuwe Token­o­mics Foun­da­tion, een project van de Linux Foun­da­tion, wil daar­voor stan­daarden, bench­marks en best prac­tices ontwik­kelen. Het initi­a­tief kijkt daarbij nadruk­ke­lijk verder dan alleen de prijs van de tokens die AI-modellen verwerken.

De gedachte achter de nieuwe disci­pline is rela­tief eenvoudig. AI-infra­struc­tuur zet energie en kapi­taal om in reken­kracht, die vervol­gens wordt gebruikt om AI-dien­sten te leveren. Die dien­sten moeten uitein­de­lijk een zake­lijk resul­taat ople­veren. De Token­o­mics Foun­da­tion vat dat samen als een keten van energie naar intel­li­gentie naar waarde.

Dat lijkt misschien vooral een finan­cieel vraag­stuk, maar voor IT-orga­ni­sa­ties raakt token­o­mics direct aan infra­struc­tuur­ar­chi­tec­tuur, cloud­stra­tegie, model­keuze, capa­ci­teit, ener­gie­ge­bruik en perfor­mance.

AI-kosten zijn meer dan de prijs per token

Veel aanbie­ders van gene­ra­tieve AI rekenen het gebruik van modellen af op basis van tokens. Een token is grofweg een stukje tekst dat door een model wordt gelezen of gepro­du­ceerd. Daar­door lijkt het aantrek­ke­lijk om vooral naar de prijs per miljoen tokens te kijken wanneer modellen of AI-plat­forms met elkaar worden verge­leken.

Volgens de Token­o­mics Foun­da­tion geeft dat echter een onvol­ledig beeld. Rond iedere modelaan­roep bevindt zich inmid­dels een complete tech­ni­sche infra­struc­tuur. Denk aan retrie­valsys­temen, embed­dings, caches, orches­tra­tie­plat­forms, evalu­a­tie­sys­temen, bevei­li­ging, gover­nance en de soft­ware waarmee verschil­lende modellen en data­bronnen aan elkaar worden gekop­peld. Ook de mensen die deze infra­struc­tuur bouwen en beheren horen uitein­de­lijk bij de totale kosten van een AI-toepas­sing.

Dat wordt belang­rijker naar­mate orga­ni­sa­ties AI op grotere schaal inzetten. Bij een expe­ri­ment met enkele tien­tallen gebrui­kers zijn derge­lijke kosten vaak nauwe­lijks zicht­baar. Zodra honderden of duizenden mede­wer­kers AI gebruiken, of AI onder­deel wordt van bedrijfs­pro­cessen en appli­ca­ties, veran­dert het kosten­plaatje snel. De Foun­da­tion ziet daarom een verschui­ving van de eerste AI-golf, waarin vooral werd gekeken naar wat modellen konden, naar een fase waarin effi­ci­ëntie en zake­lijke waarde centraal komen te staan.

Niet iedere workload heeft hetzelfde model nodig

Een van de belang­rijkste vragen voor IT-afde­lingen wordt daar­door welk model voor welke toepas­sing moet worden ingezet.

Een groot fron­tier­model kan uitste­kende resul­taten leveren, maar dat bete­kent niet auto­ma­tisch dat iedere AI-workload zo’n model nodig heeft. Een rela­tief eenvou­dige clas­si­fi­ca­tie­taak kan bijvoor­beeld goed­koper en soms zelfs nauw­keu­riger worden uitge­voerd door een kleiner, speci­fiek afge­stemd model.

Voor complexere toepas­singen kan juist meer reken­kracht nood­za­ke­lijk zijn. Agentic AI is daarvan een goed voor­beeld. Bij een tradi­ti­o­nele chatbot leidt één gebrui­kers­vraag meestal tot één of enkele modelaan­roepen. Een AI-agent kan naar aanlei­ding van dezelfde opdracht meer­dere modellen, data­bases en soft­wa­ret­ools aanroepen en boven­dien verschil­lende tussen­stappen uitvoeren.

Daarmee kan het token­ge­bruik per gebruiker snel toenemen. De Token­o­mics Foun­da­tion wijst erop dat een simpele bere­ke­ning op basis van het aantal gebrui­kers, het gemid­delde aantal verzoeken en het aantal tokens per verzoek daarom al snel onvol­doende is. Reaso­ning-modellen gebruiken bijvoor­beeld ook interne tokens voor hun rede­neer­proces, terwijl agentic work­flows vanuit één prompt meer­dere modelaan­roepen kunnen veroor­zaken.

AI-capaciteit wordt moeilijker voorspelbaar

Dat maakt capa­ci­teits­plan­ning even­eens inge­wik­kelder. Bij tradi­ti­o­nele cloud­in­fra­struc­tuur beschikken IT-afde­lingen inmid­dels over allerlei tech­nieken om kosten en capa­ci­teit rede­lijk goed te voor­spellen. Virtuele machines kunnen worden gerightsized, reserved instances kunnen voor langere tijd worden inge­kocht en workloads kunnen rela­tief eenvoudig worden gekop­peld aan CPU‑, geheugen- of stor­age­ge­bruik.

Bij AI ligt dat anders. De Foun­da­tion stelt zelfs dat AI in econo­misch opzicht sterker verschilt van cloud­com­pu­ting dan cloud­com­pu­ting destijds van het tradi­ti­o­nele data­center. Een belang­rijke reden is de snel­heid waarmee modellen en AI-hard­ware veran­deren. Waar servers jaren­lang kunnen worden afge­schreven, kan een AI-model binnen enkele maanden alweer zijn inge­haald door een nieuw model. Lang­du­rige capa­ci­teits- of tech­no­lo­gie­keuzes worden daar­door lastiger.

Boven­dien is de relatie tussen capa­ci­teit en kosten minder lineair. Factoren zoals context­lengte, caching, model­rou­ting en de gebruikte toke­nizer kunnen grote invloed hebben op de daad­wer­ke­lijke kosten van een workload.

Van GPU-uur naar kosten per bruikbare token

Ook voor orga­ni­sa­ties die zelf AI-infra­struc­tuur bouwen of dedi­cated GPU-capa­ci­teit afnemen, kan dit gevolgen hebben voor de manier waarop infra­struc­tuur wordt beoor­deeld.

Tradi­ti­o­neel wordt bijvoor­beeld gekeken naar de prijs van een GPU of de kosten per GPU-uur. Volgens de Token­o­mics Foun­da­tion zegt dat echter vooral iets over de kosten van de hard­ware en nog rela­tief weinig over wat deze hard­ware daad­wer­ke­lijk produ­ceert.

Daarom stelt de orga­ni­satie voor om onder andere naar cost per token te kijken: hoeveel kost het daad­wer­ke­lijk om een bepaalde hoeveel­heid AI-output te produ­ceren?

Daarmee worden hard­ware, soft­ware en de effi­ci­ëntie van de infe­ren­ce­stack geza­men­lijk onder­deel van de bere­ke­ning. Twee infra­struc­tuur­om­ge­vingen met dezelfde GPU’s kunnen in de prak­tijk immers verschil­lende hoeveel­heden tokens produ­ceren als de gebruikte infe­rence-soft­ware anders is geop­ti­ma­li­seerd.

Voor IT-mana­gers die eigen GPU-clus­ters, private AI-clouds of dedi­cated AI-capa­ci­teit onder­zoeken, kan dat een belang­rijk onder­scheid worden. De aanschaf­prijs van acce­le­ra­tors zegt dan minder dan de hoeveel­heid bruik­bare AI-capa­ci­teit die gedu­rende de levens­duur van die infra­struc­tuur kan worden gele­verd.

Modelrouting wordt onderdeel van kostenbeheer

Tege­lij­ker­tijd verschuift opti­ma­li­satie steeds meer naar de soft­wa­re­laag.

Tech­nieken als model­rou­ting kunnen bijvoor­beeld bepalen welk AI-model voor een bepaalde opdracht wordt gebruikt. Een eenvou­dige vraag kan auto­ma­tisch naar een goed­koop klein model worden gestuurd, terwijl alleen complexere opdrachten bij een zwaarder model terecht­komen.

Ook caching kan belang­rijk worden. Wanneer dezelfde context voort­du­rend opnieuw naar een model wordt gestuurd, moeten grote hoeveel­heden tokens telkens opnieuw worden verwerkt. Door eerder verwerkte infor­matie slim te herge­bruiken kunnen zowel infra­struc­tuur­be­las­ting als kosten dalen.

Andere tech­nieken zijn quan­ti­za­tion, waarbij modellen met een lagere nume­rieke precisie draaien zodat meer workloads op dezelfde hard­ware passen, en opti­ma­li­satie van prompts en context­ven­sters.

Volgens de Foun­da­tion gaat het daarbij niet simpelweg om zo weinig moge­lijk tokens gebruiken. Het doel is zoveel moge­lijk bruik­bare output uit de beschik­bare AI-capa­ci­teit halen. Een goed­koop model dat regel­matig verkeerde resul­taten levert, kan uitein­de­lijk immers duurder zijn dan een groter model dat een taak direct correct uitvoert.

FinOps voor AI

De Token­o­mics Foun­da­tion werkt nauw samen met de even­eens onder de Linux Foun­da­tion vallende FinOps Foun­da­tion. Dat is logisch: FinOps ontstond juist om orga­ni­sa­ties meer inzicht en controle te geven over vari­a­bele cloud­kosten.

AI intro­du­ceert volgens de initi­a­tief­ne­mers echter een aantal nieuwe vraag­stukken waar­voor tradi­ti­o­nele FinOps-methoden niet voldoende zijn. Token­o­mics kijkt daarom naar drie onder­delen: productie van AI-capa­ci­teit, consumptie daarvan en uitein­de­lijk de zake­lijke waarde die ermee wordt gere­a­li­seerd.

Daarbij moet een relatie ontstaan tussen tech­ni­sche metrics en bedrijfs­re­sul­taten.

Een klan­ten­ser­vi­ce­or­ga­ni­satie kan bijvoor­beeld meten hoeveel AI-capa­ci­teit nodig is om een klant­vraag af te handelen. Maar uitein­de­lijk is niet het aantal tokens inte­res­sant. Rele­vanter zijn zaken als kortere afhan­de­lings­tijden, hogere klant­te­vre­den­heid of minder werk voor mede­wer­kers.

Hetzelfde geldt voor soft­wa­re­ont­wik­ke­ling. Het aantal prompts dat een program­meur naar een AI-assis­tent stuurt zegt weinig over de waarde daarvan. De inte­res­sante vraag is of soft­ware sneller wordt ontwik­keld, fouten eerder worden gevonden of devel­o­pers meer werk kunnen verzetten.

CIO krijgt er een nieuwe kostenpost bij

Voor CIO’s bete­kent dit dat AI waar­schijn­lijk niet simpelweg als extra onder­deel van het bestaande cloud­budget kan worden beheerd. Naar­mate AI dieper wordt geïn­te­greerd in appli­ca­ties en bedrijfs­pro­cessen, moeten orga­ni­sa­ties inzicht krijgen in welke modellen worden gebruikt, hoeveel infe­rence-capa­ci­teit appli­ca­ties verbruiken en welke zake­lijke resul­taten daar tegen­over staan.

Daar komt nog bij dat lagere kosten per token niet auto­ma­tisch leiden tot lagere totale AI-uitgaven. De Foun­da­tion verwijst hierbij naar de bekende Jevons-paradox: zodra tech­no­logie effi­ci­ënter en goed­koper wordt, neemt het gebruik vaak juist zo sterk toe dat de totale kosten alsnog stijgen. Bij AI is dat mecha­nisme volgens de orga­ni­satie duide­lijk zicht­baar.

Dat risico neemt toe met de opkomst van AI-agents. Een mede­werker die voor­heen enkele prompts per dag invoerde, kan straks soft­ware gebruiken waarin tien­tallen of honderden modelaan­roepen auto­ma­tisch plaats­vinden zonder dat de gebruiker daar iets van merkt.

Van AI-experiment naar AI-operatie

Juist daar ligt waar­schijn­lijk de belang­rijkste bete­kenis van token­o­mics voor IT-mana­gers.

De afge­lopen jaren draaiden veel AI-projecten om pilots, proofs of concept en losse toepas­singen. De komende fase draait steeds vaker om opera­ti­o­nele AI-systemen die continu onder­deel zijn van bedrijfs­pro­cessen.

Op dat moment worden onder­werpen als capa­ci­teit, latency, beschik­baar­heid, ener­gie­ge­bruik en kosten net zo belang­rijk als de kwali­teit van het AI-model zelf.

De Token­o­mics Foun­da­tion wil hier­voor uitein­de­lijk vendor­neu­trale defi­ni­ties, bench­marks en speci­fi­ca­ties ontwik­kelen. Ook moet de bestaande FOCUS-speci­fi­catie, die tech­no­lo­gie­kosten op een gestan­daar­di­seerde manier beschrijft, worden uitge­breid rich­ting token­ge­ba­seerde AI-uitgaven.

Voor CIO’s ontstaat daarmee een nieuw vakge­bied tussen infra­struc­tuur­be­heer, FinOps en AI-gover­nance. Niet de vraag hoeveel tokens een orga­ni­satie gebruikt staat daarbij centraal, maar hoeveel energie, infra­struc­tuur, soft­ware en geld nodig zijn om via AI daad­wer­ke­lijk bedrijfs­waarde te produ­ceren.

En naar­mate AI-workloads groter en auto­nomer worden, zal die vraag alleen maar belang­rijker worden.