Nytt test avslöjar att AI-agenter fortfarande kämpar med verkliga affärsbeslut
Forskare har lanserat EnterpriseBench, ett ramverk som testar hur bra AI-agenter (språkmodeller som agerar självständigt) klarar av komplexa företagsuppgifter – som supply chain-planering och affärskonsultation – där information saknas och beslut får konsekvenser över tid. Nio olika agentmetoder testades mot fyra grundmodeller, och resultatet är tydligt: ingen klarar uppgifterna med konsekvent tillförlitlighet. Det intressanta är att medan AI presterar hyfsat på statiska frågor, är det just den dynamiska, iterativa beslutsfattningen – det som faktiskt händer i verkliga företag – som avslöjar bristerna.
Djupdykning
De flesta AI-benchmarks testar hur bra en modell är på att svara rätt på en fråga den redan har all information till – ungefär som att göra ett prov med öppen bok. EnterpriseBench är ett försök att testa något fundamentalt annorlunda: hur AI-agenter hanterar situationer där informationen är ofullständig, besluten har konsekvenser som syns först senare, och man måste ställa följdfrågor för att ens förstå problemet. Det är skillnaden mellan att lösa ett korsord och att faktiskt driva ett företag. Testerna inkluderar bland annat "Beer Game" – en klassisk supply chain-simulation från MIT som visar hur försenad feedback skapar kaos i lagerhantering, ett problem som kostar industrin miljarder varje år – och en "Enterprise Digital Twin" där modellerna får ta beslut om personal, projekt och risker i en simulerad organisation. Det som de flesta missar i AI-hypen är att företagen inte primärt behöver modeller som kan svara bra på välformulerade frågor – de behöver agenter som kan navigera när spelplanen är rörig, chefen ändrar sig, och halvparten av informationen saknas. Resultaten från nio testade agentmetoder var nedslående: ingen modell visade stabil och pålitlig prestanda tvärs över alla scenarion. Det antyder att vi fortfarande är ganska långt från AI som på allvar kan ta över strategiska arbetsflöden, trots att säljsnacket om "autonomous AI agents" just nu är på maxvolym.