BekchiAI: nytt verktyg för att mäta och övervaka AI-agenter

arXiv cs.AI

Forskare har lanserat BekchiAI – ett ramverk för att testa och övervaka AI-agenter (system som självständigt planerar och utför uppgifter i flera steg). Verktyget innehåller 2 057 testuppgifter fördelade på 7 kategorier, bland annat SQL-frågor, säkerhetsdetektering och planering, och jämför fyra modeller inklusive GPT och Gemma. Det intressanta är fokuset bortom ren träffsäkerhet – man mäter också hur ofta agenten hittar på falska URL:er och hur lojal den är mot givna verktygsinstruktioner.