Nytt ramverk avslöjar stora skillnader i tillförlitlighet hos AI-agenter

arXiv cs.AI

Forskare har testat fem stora språkmodeller med AgentAudit, ett ramverk som utvärderar hela kedjan av hur en AI-agent fungerar – från planering till verktygsanvändning och säkerhet. Claude Sonnet 5 och GPT-5 toppade listan med tillförlitlighetspoäng på 95,1 respektive 80,6 av 100, medan Gemini 2.5 Flash hamnade sist med bara 22,6. Det intressanta är att några modeller inte bara misslyckades med svåra uppgifter – de klassades aktivt som 'Unsafe_Compliance', alltså att de lydde skadliga instruktioner snarare än att vägra, något vanliga godkänd/underkänd-tester aldrig hade fångat upp.