Forskare kartlägger varför AI-agenter misslyckas – trots fina testresultat
En ny genomgång av 27 studier (2023–2026) visar att AI-agenter (system som självständigt planerar och utför flerstegsuppgifter) har sex återkommande typer av fel, bland annat dålig verktygsanvändning, bristande långsiktig planering och säkerhetsproblem. Det kluriga: ju längre uppgiften är, desto snabbare staplas felen på varandra – och bra resultat på delbitar garanterar inte att helheten fungerar. Med andra ord kan en agent se lysande ut på ett benchmark men ändå krascha i verkligheten.
Djupdykning
Bakom de imponerande poängen på AI-riktmärken döljer sig ett mönster som den här syntesen av 27 forskningspapper synliggör: LLM-agenter, alltså AI-system som självständigt planerar och utför flerstegsuppgifter med tillgång till verktyg och externa tjänster, kraschar inte på ett ställe utan på sex olika sätt samtidigt. Det som gör det svårjobbat är att felen förstärker varandra exponentiellt ju längre uppgiften är, vilket betyder att en agent som klarar varje delsteg med 90% träffsäkerhet kan misslyckas totalt på en tiostegsuppgift. De flesta diskussioner fastnar vid verktygsfelen, de konkreta grejerna som att en agent anropar fel API-parameter, men pappret pekar på att mätproblemet är minst lika allvarligt: riktmärkena vi använder för att utvärdera dessa system fångar helt enkelt inte det som brister i verkliga miljöer. En agent kan toppa WebArena-listan på korta navigationsuppgifter och ändå vara opålitlig i ett sammanhang där den behöver hålla ett mål i minnet över hundra steg och samordna sig med andra agenter. Mer infrastruktur och "scaffolding" runt modellerna löser det inte heller, vilket är ett rejält problem för alla som bygger agentprodukter just nu och hoppas att mer komplexitet i systemet kompenserar för grundläggande begränsningar i modellen.