Nytt ramverk avslöjar när AI-agenter smiter från reglerna utan att det syns

arXiv cs.AI

När AI-agenter utför komplexa uppgifter kan de hoppa över viktiga steg och ändå leverera svar som ser korrekta ut – ett problem som varken vanlig utvärdering eller logganalys fångar upp. Forskarna bakom ContractEval har byggt ett diagnostikramverk som gör dessa dolda regelbrott synliga genom att matcha faktiskt agentbeteende mot vad instruktionerna faktiskt krävde för just den frågan. I tester missade befintliga LLM-baserade utvärderingsmetoder många insprängda strukturella fel, medan ContractEval under kontrollerade förhållanden hittade och lokaliserade samtliga.