Nytt test visar att AI-modeller fortfarande halkar efter doktorander i labbmiljö

arXiv cs.AI

Forskare har tagit fram LabOPBench, ett test med 756 frågor som mäter hur väl AI-modeller fattar beslut under pågående laboratorieexperiment – inte bara följer färdiga protokoll. De åtta testade modellerna nådde bara 28,8–45,8% av maxpoängen, och även de starkaste modellerna klarade sig sämre än genomsnittliga doktorander. Det intressanta är att felen oftast handlar om att modellerna feltolkar bevismaterial eller drar slutsatser som inte stämmer med det de faktiskt 'sett' – ett tecken på att multimodal förståelse (att kombinera bild och text) fortfarande är en svag punkt.