Cloud­flare heeft een terug­blik gepu­bli­ceerd op het testen van enkele op bevei­li­ging gerichte LLM’s op de eigen infra­struc­tuur. De reac­tie­tijd op aanvallen wordt korter, maar verde­di­gers hebben meer nodig dan alleen snel­heid. Systemen moeten zodanig ontworpen worden dat exploi­tatie ervan moei­lijk is, waar­door een kwets­baar­heid niet snel uit te buiten is. 

Project Glasswing

Als onder­deel van Project Glasswing is Mythos ingezet op live code van Cloud­flare runtime, edge data path, proto­col­stack, control plane en open-sour­ce­pro­jecten waarvan ze afhan­ke­lijk zijn. Samen­gevat zagen ze dit:

• Het belang­rijkste verschil: andere modellen vonden enkele van dezelfde bugs/​problemen, maar ze bouwden geen ketens. Ze brachten bugs aan het licht en stopten daar, wat het makke­lijke deel is. Mythos kan bugs met een lage ernst­graad (die tradi­ti­o­neel onzicht­baar zouden zijn) opsporen en aan elkaar koppelen tot één enkele, ernstige exploit.
• Weige­ringen van modellen zijn geen betrouw­bare afba­ke­ning: Mythos weigert soms, maar de redenen daar­voor zijn van buitenaf niet te beoor­delen. In één geval weigerde het model onder­zoek naar kwets­baar­heden te doen, maar stemde er vervol­gens mee in om hetzelfde onder­zoek op dezelfde code uit te voeren nadat Cloud­flare de verborgen .git-map had verwij­derd. Er was niets veran­derd aan de code die werd geana­ly­seerd.
• Niet-bruik­bare resul­taten: de bevin­dingen vereisen aanzien­lijke mense­lijke inspan­ning om alle valse posi­tieven te filteren uit een subset van echte kwets­baar­heden. Die ruis wordt veroor­zaakt door de context van de program­meer­taal, waarbij geheu­gen­on­vei­lige talen zoals C/​C++ meer specu­la­tieve marke­ringen acti­veren. Mythos lijdt aan een inhe­rente voor­in­ge­no­men­heid ten opzichte van het over­rap­por­teren van kwets­baar­heden.

Meer infor­matie is te lezen in de uitge­breide blog over Project Glasswing.