Nya testet avslöjar att kodningsagenter är onödigt försiktiga i upp till 59% av fallen

arXiv cs.AI

Forskare har tagit fram ParanoiaEval, ett nytt testramverk för att mäta om AI-kodningsagenter hanterar risker på ett rimligt sätt – eller om de är onödigt defensiva. Testet på 8 olika modeller visar att agenter vidtar obefogade skyddsåtgärder i mellan 11 och 59 procent av fallen, trots tydliga instruktioner om motsatsen. Det intressanta är att starkare kodningsförmåga inte alls garanterar bättre riskbedömning – det verkar vara en helt separat förmåga som faktiskt påverkar hur nöjda utvecklare blir.