En enda rad text kan lura AI-säkerhetsgrindar att tillåta vad som helst

Forskare har testat sju AI-modeller som används som säkerhetsgrindar i agentsystem – den komponent som ska avgöra om en AI-agent får utföra en viss åtgärd eller inte – och resultaten är ganska nedslående. Grundidén är elegant: istället för att generera fritext väljer modellen bara mellan fördefinierade alternativ som "tillåt" eller "blockera", vilket borde vara enklare och säkrare. Men träffsäkerheten hamnar mellan 36% och 72%, med ett slumpmässigt gissningsvärde på 50%, vilket betyder att vissa modeller knappt presterar bättre än en myntkastning. Det de flesta missar är hur brutalt enkla attackerna är. Sex rader serverlogg-text som inte ens berör säkerhetspolicyn räcker för att höja felfrekvensen från 0% till 63%, och om du ger det tillåtande svarsalternativet ett vilseledande namn – utan att ändra själva definitionen eller texten som bedöms – kollapsar fyra av modellerna helt och tillåter allt mellan 93% och 100% av det de annars blockerar. Det är inte sofistikerad hacking, det är mer som att byta skylt på en dörr. Den riktigt vassa observationen i studien är att när forskarna i stället parsade varje policyfält till ett strukturerat, deterministiskt värde och slopade AI-modellen helt, nådde de 100% träffsäkerhet på samtliga sex testade policyer. Med andra ord: det problem som AI-modellen är anställd för att lösa löses bättre utan den.