Nytt benchmark testar AI-agenters förmåga att bedriva vetenskaplig forskning

Forskare har lanserat AIRS-Bench, ett omfattande testramverk som utvärderar AI-agenters förmåga att bedriva självständig vetenskaplig forskning inom maskininlärning. Benchmarket består av 20 uppgifter hämtade från toppmoderna forskningsartiklar och täcker hela forskningsprocessen – från idégenerering till experimentanalys och iterativ förbättring – utan att tillhandahålla färdig kod som stöd. Resultaten visar en blandad bild där AI-agenter överträffar mänskliga forskares prestationer i fyra uppgifter men misslyckas med att matcha dem i sexton andra, vilket tyder på att tekniken fortfarande har betydande utvecklingspotential. Detta är särskilt betydelsefullt eftersom det första gången ger forskningsgemenskapen ett standardiserat sätt att mäta och jämföra AI-systems kapacitet för autonom vetenskaplig upptäckt. Lanseringen kommer vid en kritisk tidpunkt när stora språkmodeller blir alltmer sofistikerade och intresset för AI-driven forskning växer explosionsartat inom akademi och industri. Genom att göra ramverket öppen källkod skapar forskarna förutsättningar för accelererad utveckling av AI-system som kan fungera som självständiga forskningspartners. Nyckelinsikt: AIRS-Bench etablerar den första rigorösa standarden för att mäta AI-agenters forskningskapacitet och avslöjar att vägen till fullständigt autonom vetenskaplig upptäckt fortfarande är lång.