Nytt benchmark testar om AI-agenter kan bygga riktiga exploits mot operativsystemkärnor

arXiv cs.AI

Forskare har skapat KEX-bench, ett test med 45 uppgifter baserade på verkliga säkerhetshål (CVE:er) i Linux och Windows, för att mäta hur bra kodningsagenter är på att faktiskt utnyttja sårbarheter – inte bara hitta dem. Utan ett referensexempel klarade den starkaste agenten 56% av Linux-uppgifterna men bara 5% av Windows-uppgifterna, vilket antyder att Windows-kärnan är betydligt svårare att exploatera automatiskt. Det intressanta är gapet: agenter lyckas krascha systemet men misslyckas med det svårare steget att forma kraschen till ett kontrollerbart angrepp.