Självförbättrande AI-agenter visar sig vara skörare än väntat när deras verktygsbank förändras

arXiv cs.AI

Forskare har upptäckt ett allvarligt problem med så kallade självförbättrande AI-agenter: när agentens inbyggda 'färdighetsbank' (en samling verktyg och förmågor) uppdateras efter driftsättning, tappar agenten snabbt sin kompetens – i värsta fall raderas 52–93% av de prestandavinster man mätte under träning. För att synliggöra problemet introducerar forskarna CODA, ett nytt utvärderingsprotokoll som simulerar just den här typen av förändringar och testar hur robusta agenter faktiskt är. Det intressanta är att problemet inte beror på dålig implementation utan är inbyggt i hur dessa system tränas.