Nytt ramverk hittar grundorsaken när AI-agenter misslyckas
Forskare har byggt DeFA, ett system som analyserar varför AI-agenter (program som utför uppgifter i flera steg) går fel – inte bara vad som gick fel, utan exakt vilket steg som orsakade problemet och hur felet spred sig vidare. På standardiserade testset presterar DeFA bäst av alla utvärderade metoder för att identifiera ansvarig agent och felsteg. Det intressanta är att använda DeFA:s diagnoser som feedback för att träna agenterna förbättrade deras framtida träffsäkerhet med 6–15 procentenheter.
Djupdykning
När AI-agenter misslyckas med en uppgift är det sällan uppenbart *var* det gick fel – kanske fattar agenten ett dåligt beslut i steg 3, men konsekvenserna syns inte förrän i steg 12, och då är det lätt att skylla på fel sak. DeFA löser detta genom att bygga en slags beroendekarta över hela körningen, ungefär som en debugger för mänsklig kod fast för AI-beslut, och spårar hur ett enstaka misstag kaskaderar genom systemet. Det verkligt underskattade problemet här är inte att hitta *att* något gick fel, utan att avgöra *vem* av flera samverkande AI-agenter som faktiskt bar ansvaret – vilket blir kritiskt när man börjar sätta ihop system av agenter som delegerar till varandra. Förbättringen på 6–15 procentenheter i efterföljande uppgifter när diagnostiken används för träning antyder att felen inte är slumpmässiga brus utan strukturella mönster som går att lära sig ifrån. De flesta fokuserar på att göra agenter bättre på att *lyckas*, men den här forskningen pekar på att systematisk felanalys kan vara genvägen dit – ungefär som att flygbranschen lärde sig mer av haveriutredningar än av framgångsrika landningar.