AI-agenter misslyckas med vetenskapliga beslut – presterar sämre än slumpen

arXiv cs.AI

Ett nytt riktmärke (benchmark) kallat SciΠvot testar hur väl AI-agenter fattar vetenskapliga beslut vid kritiska vägval – och resultaten är nedslående: fyra av fem ledande modeller presterar sämre än slumpen på de utvalda fallen. Den bästa AI-modellen nådde 63,5% träffsäkerhet, jämfört med 73,4% för erfarna forskare som såg samma information färskt. Särskilt intressant är att tillgång till hela projekthistoriken faktiskt försämrade AI:ns omdöme – mer kontext hjälpte alltså inte.