Nya tester avslöjar att AI-agenter vet mer än de agerar på
Forskare har skapat ett nytt riktmärke kallat STOCKTAKE – ett 26-veckorslångt simulerat lagerhanteringsproblem – för att mäta om AI-agenter misslyckas för att de förstår situationen fel, eller för att de vet vad som händer men ändå inte agerar rätt (det så kallade knowing-doing gap). Resultaten är talande: Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro och Grok 4.5 identifierar dolda problem i 84–88% av fallen, men presterar ändå vitt skilt när det gäller faktisk kontroll – med poäng från 0,62 ner till –0,23, där två av fyra modeller presterar sämre än en enkel tumregelsstrategi. Intressant nog är det just de svagaste modellerna som stockar ur minst när de väl diagnostiserat ett problem – vilket antyder att deras problem snarare är överreaktion än passivitet.
Djupdykning
Forskarnas nya benchmark STOCKTAKE försöker lösa ett fundamentalt mätproblem inom AI-agenter: när en agent misslyckas med en uppgift, vet vi inte om den förstod situationen men inte agerade, eller om den helt enkelt missförstod världen. Tänk på det som skillnaden mellan en läkare som ställer rätt diagnos men skriver fel recept, kontra en som aldrig förstår vad patienten lider av. Benchmarken simulerar 26 veckors lagerhantering där AI:n aldrig ser hela bilden direkt, ungefär som att driva ett lager där du bara ser vad som säljs, inte varför efterfrågan förändras. Det smarta med upplägget är att de bygger en "rättvis oracle", en referenspunkt som arbetar med exakt samma begränsade information som agenten, vilket gör jämförelsen faktiskt ärlig. Resultaten avslöjar något som de flesta AI-diskussioner totalt missar: de modeller som är bäst på att diagnostisera problem är inte nödvändigtvis de som agerar bäst på dem, och de som agerar mest aggressivt kan faktiskt kosta mer än vad de räddar. Claude, GPT-5.4 och sällskapet identifierar 84-88% av dolda störningar snabbt, men halva fältet hamnar under golvet som sätts av en fullständigt blind standardpolicy. Det verkliga problemet är alltså inte att AI-agenter är ointelligenta, utan att det finns en systematisk klyfta mellan förståelse och handling som varierar dramatiskt mellan modeller och som befintliga riktmärken inte ens är byggda för att se.