De budgetten van CIO’s staan onder druk door de toene­mende kosten voor het gebruik van AI. Zelfs menig CFO wordt er inmid­dels nerveus van. Uit angst om achterop te raken, hebben veel orga­ni­sa­ties hun werk­ne­mers aange­spoord om waar moge­lijk AI te gaan benutten. Met als uitgangs­punt: “Ga er snel mee aan de slag, dan zien we wel hoe we de kosten betalen.” Op het eerste gezicht leek deze aanpak te werken, omdat AI trans­for­me­rende voor­delen kan ople­veren. De laatste tijd worden de kosten echter een pijn­punt, omdat CIO’s en CFO’s hoge reke­ningen ontvangen voor alle beno­digde abon­ne­menten en gebruikte digi­tale tokens.

Wildgroei in AI-gebruik en ‑kosten

Bij veel orga­ni­sa­ties groeien zowel het gebruik als de bijbe­ho­rende kosten voor AI onge­brei­deld. Ontwik­ke­laars, marke­teers en andere mede­wer­kers krijgen toegang tot geavan­ceerde modellen via een gedeelde API-sleutel, waar­door het gebruik bedrijfs­breed toeneemt. Daarna ontvangt de finan­ciële afde­ling aan het einde van de maand de factuur en kan niemand verklaren waar al het geld naartoe is gegaan. Heeft het machine learning-team een nieuwe toepas­sing getraind? Was het een stagiair die Claude Opus gebruikte voor het sorteren van e‑mails? Of een uit de hand gelopen continue inte­gra­tie­taak die in één weekend miljoenen tokens heeft verbruikt? Niemand weet het, want de API-sleutel laat niet zien wie hem heeft gebruikt.

Zonder richt­lijnen zullen mede­wer­kers waar­schijn­lijk het grootste beschik­bare AI-model kiezen. Als er name­lijk geen budget is afge­sproken, geen inzicht en geen routing­lo­gica is, is de meest logi­sche stap om voor alles het krach­tigste model te gebruiken. Voor veel taken is echter geen geavan­ceerd model vereist. Een samen­vat­ting van een code­re­view heeft niet hetzelfde model nodig als een complexe archi­tec­tuur­re­fac­to­ring. Een logparser heeft niet hetzelfde model nodig als een content­ge­ne­rator voor klanten. Het zou eenvoudig moeten zijn om de juis­teAI-tool voor elke taak te selec­teren, in plaats van stan­daard voor de krach­tigste en vaak duurste te kiezen. Boven­dien zou het eenvoudig moeten zijn om te zien waar alle beste­dingen naartoe gaan.

De ROI van AI-uitgaven is niet te bere­kenen zonder inzicht in waaraan het geld wordt besteed en het budget is niet te beheersen zonder contro­le­me­cha­nismen. Elk ander onder­deel van een bedrijf heeft een budget en een toewij­zing per team, dat hoort voor AI-uitgaven ook zo te zijn.

Cloudflare AI Gateway biedt uitkomst

Cloud­flare heeftAI Gateway ontwik­keld als tussen­per­soon tussen appli­ca­ties en AI-aanbie­ders. In plaats van OpenAI, Anthropic, Google of een andere aanbieder recht­streeks aan te roepen, worden alle verzoeken eerst via AI Gateway geleid, met de volgende func­ti­o­na­li­teit:

• Uniforme factu­re­ring om eenvoudig te wisselen tussen de aanbie­ders en modellen
• Regi­stratie van alle aanvragen bij alle provi­ders: elk verzoek, het aantal tokens en de kosten op één plek
• Reac­tie­ca­ching
• Snel­heids­be­per­king
• Inhouds­be­vei­li­ging en de moge­lijk­heid om persoons­ge­ge­vens en geheimen te blok­keren voordat ze het model bereiken.

AI Gateway bood tot nu toe echter geen eenvou­dige manier om te achter­halen wie wat uitgeeft, of hoe limieten zijn in te stellen voor alle AI-uitgaven. Men kon alleen het totale gebruik van de account inzien. Maar bijvoor­beeld niet dat Jane van de tech­ni­sche afde­ling $2.000 aan Claude had uitge­geven, terwijl het hele data science-team slechts $400 had gebruikt. Boven­dien waren er geen budgetten in te stellen per afde­ling, of gebruikers(typen).

Bestedingslimieten voor AI-gebruik

Cloud­flare AI Gateway onder­steunt inmid­dels beste­dings­li­mieten als kern­functie. Dit zijn echte beheer­sings­maat­re­gelen voor de kosten, in de vorm van budgetten die in dollars zijn inge­steld. Dus niet in gebruikte tokens, terwijl ook de cumu­la­tieve uitgaven voor alle AI-verzoeken worden bijge­houden, onaf­han­ke­lijk van tradi­ti­o­nele snel­heids­be­per­kingen.

Er zijn beper­kingen in te stellen voor elke combi­natie van dimen­sies: model, provider of door de beheerder gede­fi­ni­eerde aange­paste kenmerken zoals gebruiker, team of appli­catie. De periode kan vast zijn (gereset op de eerste van de maand, maandag of midder­nacht) of dyna­misch, en inge­steld worden op dage­lijks, weke­lijks of maan­de­lijks.

AI Gateway bere­kent de kosten per aanvraag op basis van de prijs van het model en houdt de cumu­la­tieve uitgaven ten opzichte van de limiet in real­time bij. Boven­dien zijn de uitgaven te volgen op het analy­sedash­board en te filteren naar model, provider of een ander kenmerk. De beheerder heeft meer­dere opties voor wat er gebeurt als de budget­li­miet is bereikt. AI Gateway blok­keert stan­daard verdere verzoeken. Of men kan dyna­mi­sche route­rings­re­gels instellen om verzoeken naar een alter­na­tief model te sturen als de beste­dings­li­miet is bereikt, waar­door een strikte beste­dings­li­miet de work­flow van mede­wer­kers niet verstoort. Later wordt ook nog de moge­lijk­heid toege­voegd om waar­schu­wingen te versturen als een limiet is bereikt.

Beste­dings­li­mieten zijn al beschik­baar in open bèta voor alle AI Gateway-gebrui­kers, onge­acht het abon­ne­ment. Te confi­gu­reren in de gateway-instel­lingen van het dash­board, of via de API. Cloud­flare benut dezelfde func­ti­o­na­li­teit intern om de token­kosten van alle mede­wer­kers te beheersen. Iedere mede­werker gebruikt dage­lijks AI-tools en verwerkt maan­de­lijks miljoenen verzoeken en miljarden tokens via AI Gateway. Wanneer een mede­werker zich authen­ti­ceert via Cloud­flare Access, wordt hun iden­ti­teit uit het JSON Web Token (JWT) gehaald en als meta­data toege­voegd aan het AI Gateway-verzoek. Hier­door zijn het token­ver­bruik per gebruiker, de verde­ling per team en de kosten­ver­de­ling binnen de hele orga­ni­satie op één plek inzich­te­lijk.

Budgetten en beleids­re­gels per iden­ti­teit

Als aanvul­ling op de al besproken beste­dings­li­mieten heeft Cloud­flare ook iden­ti­teits­ge­stuurde budgetten en beleids­re­gels toege­voegd aan de gesloten bèta­versie. Met de beste­dings­li­mieten in AI Gateway zijn budgetten in te stellen per model, provider of aange­paste kenmerken. Een appli­catie moet deze meta­data echter wel door­geven, en AI Gateway vertrouwt op alles wat het ontvangt. Voor geve­ri­fi­eerde, auto­ma­ti­sche toewij­zing is aanvul­lend iden­ti­teits­data nodig. In combi­natie met Cloud­flare Access kan AI Gateway zien wie elk verzoek indient, niet alleen welk account, maar ook welke mede­werker, welke iden­ti­teits­pro­vi­der­groep (IdP), welke service, etc.

Beheer­ders kunnen budgetten per type gebruiker instellen. Zodra deze zijn of haar limiet bereikt, worden aanvragen terug­gezet naar een goed­koper model of geblok­keerd. Ook is het moge­lijk om per team een model­be­leid in te stellen. Zo krijgt het machine learning-team bijvoor­beeld toegang tot Claude Opus en GPT-4^o. Het marke­ting­team kan gebruik­maken van gene­ra­tieve beeld- en video­mo­dellen. Stagi­airs gebruiken open-source modellen op Workers AI. Dit beleid wordt gekop­peld aan de bestaande IdP-groepen, dezelfde iden­ti­teiten die al worden beheerd.

Aan CI/CD-pipe­lines en auto­nome agents is met Access-servi­ce­tokens een unieke iden­ti­teit mee te geven. Daar­door is te zien dat een code review-bot deze week 5 miljoen tokens heeft gebruikt, terwijl de docu­men­ta­tie­ge­ne­rator er 500.000 verbruikt. Als een agent te veel tokens verbruikt, is het beleid aan te passen zonder andere agents te beïn­vloeden. Elke logver­mel­ding in AI Gateway bevat de geve­ri­fi­eerde iden­ti­teit: e‑mailadres, IdP-groep en naam van het servi­ce­token. Door deze data naar het analy­se­plat­form te expor­teren ontstaat er een kosten­over­zicht per gebruiker en per team, zonder dat men zelf iets hoeft te ontwik­kelen.

Tech­nisch gezien maakt de beheerder een Cloud­flare Access-appli­catie aan voor het AI Gateway-eind­punt en confi­gu­reert deze het beleid op basis van de IdP-groepen. Wanneer een ontwik­ke­laar of agent een verzoek indient, authen­ti­ceren deze zich via OAuth, met behulp van de gebrui­ke­lijke CLI-appa­raat­co­de­flow. AI Gateway vali­deert het token en extra­heert de iden­ti­teit. Daar­voor is het niet nodig om een aange­paste Worker te schrijven, zelf JWT’s te parsen, of te vertrouwen op meta­da­ta­he­a­ders op basis van vertrouwen.

Van kostenbeheersing naar ‑optimalisatie

Het opstellen van een budget om de gestaag toene­mende AI-kosten te beheersen is nood­za­ke­lijk. Echter hoe is het maxi­male rende­ment uit een budget te halen als dat is inge­steld? Bij de meeste orga­ni­sa­ties is niet voor elke AI-toepas­sing een geavan­ceerd model nodig. Een samen­vat­tings­taak kan bijvoor­beeld op een goed­koper model draaien zonder noemens­waardig kwali­teits­ver­lies, terwijl groot­scha­lige code-refac­to­ring de nieuwste tech­no­logie nodig heeft. Zonder contro­le­me­cha­nismen kiezen mensen echter bijna altijd voor het meest geavan­ceerde model. Om van kosten­be­heer­sing naar ‑opti­ma­li­satie te gaan wordt Cloud­flare AI Gateway nog uitge­breid met taak­ge­richte route­ring. Daarmee is dan elk verzoek te analy­seren en auto­ma­tisch door te sturen naar het model dat het beste resul­taat tegen de laagste kosten ople­vert.

Door: Tony van den Berge, Vice Presi­dent EMEA van Cloud­flare