Nytt test avslöjar stora brister hos AI-forskningsagenter

arXiv cs.AI

Forskare har tagit fram ett nytt riktmärke (benchmark) för att testa hur bra AI-agenter är på att genomföra komplex, långvarig research – och resultaten är nedslående: den bästa testade agenten klarar bara 43,1% av frågorna korrekt. Varje fråga kräver i snitt 12,1 mellansteg med inbördes beroenden, och att ta bort bildmaterial försämrar resultaten med 12,6 procentenheter – vilket visar att multimodal förståelse (att kombinera text med bilder, kartor och tabeller) fortfarande är en svag punkt. Det intressanta är att traditionella mätmetoder tenderar att överskatta hur bra agenterna egentligen är, eftersom de bara kollar slutsvaret och inte hela resonemangskedjan.