Nytt system lär sig när AI-agenter behöver korrigeras

arXiv cs.AI

Forskare har utvecklat VoS (Value of Steering), ett system som lär sig identifiera exakt när det lönar sig att ingripa och styra om en AI-agent under en pågående uppgift – ett problem som visat sig svårare än det låter. I tester över 82 000 simulerade scenarion förbättrade VoS agenternas prestanda med i snitt 7,8 procentenheter jämfört med ingen styrning alls, och slog befintliga metoder i 11 av 12 testmiljöer. Det intressanta är att enkel osäkerhetsmätning (hur säker agenten verkar på sig själv) räcker för att avgöra om något går fel – men inte för att avgöra när man ska gripa in.