Studie avslöjar blind fläck i AI-agenter: 322 uppmätta fall av hallucinerade verktygsanrop

arXiv cs.AI

Forskare har identifierat ett grundläggande problem med LLM-agenter (AI-system som kan anropa externa verktyg): de hittar på verktyg som inte finns och skickar argument som aldrig definierats – något som befintliga säkerhetsmekanismer inte ens försöker hantera. I en mätning av tio AI-modeller hittades 322 sådana falska anrop, och intressant nog presterade en 675-miljarders-parametermodell lika dåligt som betydligt mindre modeller. Problemet förvärras när man kombinerar flera MCP-servrar (ett protokoll för att koppla ihop AI med verktyg) i ett gemensamt namnrymd – där uppstod ytterligare 154 hallucinationer, även från modeller som tidigare klarat sig.