Cloudflare heeft een terugblik gepubliceerd op het testen van enkele op beveiliging gerichte LLM’s op de eigen infrastructuur. De reactietijd op aanvallen wordt korter, maar verdedigers hebben meer nodig dan alleen snelheid. Systemen moeten zodanig ontworpen worden dat exploitatie ervan moeilijk is, waardoor een kwetsbaarheid niet snel uit te buiten is.
Project Glasswing
Als onderdeel van Project Glasswing is Mythos ingezet op live code van Cloudflare runtime, edge data path, protocolstack, control plane en open-sourceprojecten waarvan ze afhankelijk zijn. Samengevat zagen ze dit:
- Het belangrijkste verschil: andere modellen vonden enkele van dezelfde bugs/problemen, maar ze bouwden geen ketens. Ze brachten bugs aan het licht en stopten daar, wat het makkelijke deel is. Mythos kan bugs met een lage ernstgraad (die traditioneel onzichtbaar zouden zijn) opsporen en aan elkaar koppelen tot één enkele, ernstige exploit.
- Weigeringen van modellen zijn geen betrouwbare afbakening: Mythos weigert soms, maar de redenen daarvoor zijn van buitenaf niet te beoordelen. In één geval weigerde het model onderzoek naar kwetsbaarheden te doen, maar stemde er vervolgens mee in om hetzelfde onderzoek op dezelfde code uit te voeren nadat Cloudflare de verborgen .git-map had verwijderd. Er was niets veranderd aan de code die werd geanalyseerd.
- Niet-bruikbare resultaten: de bevindingen vereisen aanzienlijke menselijke inspanning om alle valse positieven te filteren uit een subset van echte kwetsbaarheden. Die ruis wordt veroorzaakt door de context van de programmeertaal, waarbij geheugenonveilige talen zoals C/C++ meer speculatieve markeringen activeren. Mythos lijdt aan een inherente vooringenomenheid ten opzichte van het overrapporteren van kwetsbaarheden.
Meer informatie is te lezen in de uitgebreide blog over Project Glasswing.
