Nytt riktmärke testar AI:s förmåga att formulera vetenskapliga hypoteser

arXiv cs.AI

Forskare har lanserat AgentIdeaBench, ett riktmärke (benchmark) som utvärderar hur väl 33 olika AI-modeller klarar av att självständigt generera forskningshypoteser – inte bara från givna texter, utan också genom aktiv informationssökning. Intressant nog presterar modellerna ungefär dubbelt så bra när de får söka aktivt jämfört med passiv läsning, men fördelen tillfaller främst de redan starkaste modellerna. Mittenmjuka modeller gynnas av en extra teknik kallad 'Scientific World Modeling' – där AI:n förfinar sina hypoteser via strukturerade tankeexperiment – medan de bästa modellerna verkar ha internaliserat det tänkesättet redan.