Nya tester avslöjar: AI-agenter gissar rätt men förstår fel

arXiv cs.AI

Forskare har testat åtta ledande multimodala AI-modeller med ett nytt utvärderingsverktyg kallat Sci-MMR, och resultaten är lite avslöjande: modellerna ger rätt svar mer än 20 procentenheter oftare än de faktiskt kan redovisa den underliggande beviskedjan. Det verkligt intressanta är varför – 57% av felen beror på att modellerna misslyckas med att plocka upp relevant information ur vetenskapliga figurer, och till och med den starkaste modellen klarar bara 69% på de svåraste uppgifterna när den får facit serverat. Med andra ord: AI-agenter som ska forska autonomt är betydligt sämre på vetenskapligt resonemang än deras ytresultat antyder.