Cloud­flare heeft de Iden­tity-Aware AI Gateway aange­kon­digd. Deze biedt IT- en secu­ri­ty­teams volledig inzicht in de manier waarop mede­wer­kers AI op het werk gebruiken. Orga­ni­sa­ties kunnen precies zien welke mede­werker of agent een verzoek naar een AI-model heeft gestuurd, uitga­ven­li­mieten op indi­vi­dueel of team­ni­veau instellen en risi­co­volle content auto­ma­tisch markeren. Dit is moge­lijk zonder nieuwe systemen te hoeven bouwen, of de werk­wijze van mensen te verstoren. De aanvul­lende functie AI Spend, gaat nog verder door te leren hoe het normale AI-gebruik eruit­ziet voor elke persoon en elk geau­to­ma­ti­seerd systeem binnen een netwerk, en door teams te waar­schuwen zodra er iets van dat patroon afwijkt.

Kosten en security

Het gebruik van AI in orga­ni­sa­ties neemt snel toe, en daarmee ook twee uitda­gingen: stij­gende kosten en secu­ri­ty­la­cunes. Wat de kosten betreft: hoewel indi­vi­duele AI-verzoeken goed­koper worden, versturen mede­wer­kers en geau­to­ma­ti­seerde bots er veel meer, waar­door de kosten zonder veel waar­schu­wing of uitleg fors toenemen. Wat de secu­rity betreft, kunnen gevoe­lige gege­vens, zoals de namen van mede­wer­kers, wacht­woorden en vertrou­we­lijke bestanden onge­merkt naar externe AI-provi­ders worden door­ge­stuurd, zonder dat iemand dit opmerkt. De huidige tools kunnen de totale AI-uitgaven binnen een account beperken, maar ze kunnen niet aangeven wie deze kosten heeft veroor­zaakt of wat er precies is verzonden, waar­door IT-teams achteraf de schade moeten beperken in plaats van deze te voor­komen.

“Omslach­tige secu­rity wordt een obstakel dat inno­vatie afremt. Op dit moment zijn bedrijven op hun hoede voor onver­wachte AI-kosten of onbe­doelde data­lekken, dus hun eerste reactie is om de toegang af te sluiten en te beperken wat teams mogen ontwik­kelen,” aldus Dane Knecht, CTO van Cloud­flare. “Door onze toegangs­con­troles recht­streeks op AI Gateway aan te sluiten, wordt die dyna­miek omge­keerd. Teams krijgen de vrij­heid om met elk gewenst AI-model te werken. De IT-afde­ling krijgt het real­time inzicht, de secu­ri­ty­maat­re­gelen en de budget­con­trole die ze daad­wer­ke­lijk nodig hebben.”

Samenvatting functionaliteit

De combi­natie van AI Gateway en User Insights biedt bedrijven de moge­lijk­heid:

• Precies te zien wie wat verstuurt: door AI Gateway aan Cloud­flare Access te koppelen, is elk AI-verzoek nu aan een geve­ri­fi­eerde iden­ti­teit gelinkt, of het nu gaat om een mede­werker of een geau­to­ma­ti­seerd systeem (agent).
• Onge­brui­ke­lijk gedrag opvangen voordat het een probleem wordt: Insights houdt de AI-acti­vi­teit van iedere gebruiker in de loop der tijd bij en stelt een gebrui­kers­ba­se­line op. Wanneer de uitgaven aanzien­lijk hoger uitvallen dan wat normaal is voor een bepaalde gebruiker of een bepaald systeem, krijgt de IT-afde­ling een melding.
• Effi­ci­ën­tie­ver­be­te­ringen bloot­leggen die op grote schaal al snel over het hoofd worden gezien: AI Spend contro­leert of mede­wer­kers krach­tige modellen gebruiken voor eenvou­dige taken die ook door lich­tere, goed­ko­pere modellen kunnen worden uitge­voerd, waar­door men de effi­ci­ëntie eenvoudig kan verbe­teren.
• Iden­ti­teits­ge­ba­seerde toegang en authen­ti­catie hand­haven: orga­ni­sa­ties kunnen onbe­vei­ligde, gedeelde API-sleu­tels vervangen door inte­gratie met hun iden­ti­teits­pro­vider (IdP) en Zero Trust (ZTNA)-infrastructuur. Hiermee wordt de toestand van het appa­raat en gebrui­kers gecon­tro­leerd voordat verzoeken naar de model­pro­vider worden verzonden, zonder dat dit de accep­tatie vertraagt, waarbij geve­ri­fi­eerde iden­ti­teiten recht­streeks in de verzoek­log­boeken worden vast­ge­legd.
• Al het AI-verkeer op één locatie inzien en beheren: in plaats van het gebruik van AI stukje bij beetje per tool en modelaan­bieder te beheren, lopen alle verzoeken via één centraal punt. Dat biedt de IT-afde­ling direct inzicht in het gehele systeem, zoals de moge­lijk­heid om herhaalde verzoeken in de cache op te slaan en over­bo­dige kosten te besparen, rate limi­ting toe te passen om onge­brei­deld gebruik te voor­komen voordat dit wordt gefac­tu­reerd, en auto­ma­ti­sche filters te gebruiken die de namen van mede­wer­kers, wacht­woorden en andere gevoe­lige gege­vens verwij­deren voordat deze bij een externe AI-aanbieder terecht­komen.

“Met gedeelde API-sleu­tels is het vrijwel onmo­ge­lijk om te bepalen wie een AI-dienst gebruikt of om de toegangs­re­gels toe te passen die we al voor onze mede­wer­kers hebben inge­steld. Door Cloud­flare Access vóór de AI Gateway te plaatsen, krijgt elk verzoek een geau­then­ti­ceerde iden­ti­teit en kunnen we onze bestaande iden­ti­teit­po­li­cies bij de gateway toepassen. “Onze teams kunnen AI-tools gebruiken zonder dat ze voor elke klant een apart authen­ti­ca­tie­sys­teem hoeven op te zetten,” aldus Max Baum­garten, Secu­rity Engi­neer bij Flex­port.