Nytt riktmärke testar hur väl AI-agenter förstår sina egna experiment

arXiv cs.AI

Forskare har lanserat WhatWorkedBench, ett testverktyg som mäter hur bra AI-agenter förstår vad som faktiskt påverkade resultatet i deras experiment – ungefär som att fråga en forskare 'vad lärde du dig egentligen?'. Testet omfattar 36 uppgifter och 1 248 konfigurationer, och visar att en teknik kallad Gaussisk process (en statistisk metod för att uppskatta okända värden) förbättrar agenternas träffsäkerhet från 0,62 till 0,72. Intressant nog stiger precisionen ytterligare när man kodar in vilka konfigurationer som beter sig identiskt – från 0,25 till 0,46 – vilket antyder att AI-agenter har mycket kvar att lära om sina egna arbetsflöden.