Nytt testramverk avslöjar stora svagheter hos AI-agenter och världsmodeller

arXiv cs.AI

Forskare har skapat 'Dual Exam', ett utvärderingsverktyg som testar AI-agenter och världsmodeller (AI-system som simulerar hur verkligheten fungerar) var för sig – och resultaten är nyktra: GPT-4o Astra toppar agentlistan med blygsamma 31,3 poäng av 100, medan ett kombinerat test av de bästa systemen tillsammans gav noll lyckade uppgifter av 150 försök. Det antyder att två halvbra komponenter inte automatiskt blir ett fungerande system ihop – vilket är värt att ha i bakhuvudet nästa gång någon lovar autonoma AI-agenter.