Nytt ramverk avslöjar att AI-agenter drar korrekta slutsatser av felaktiga data

arXiv cs.AI

Forskare har testat 11 olika AI-agenter med benchmark-verktyget SciRIGOR – 100 vetenskapliga analysfall över sex ämnesområden – och hittat ett störande mönster: agenterna drar rätt slutsatser ungefär lika ofta oavsett om datan de baserar sig på är korrekt eller inte (91,8% mot 91,0%). Inget system klarade mer än 62,6% på det mjuka beviskedjepoängen, och bara 18% klarade hela kedjan från data till påstående. Det intressanta här är inte att AI är dålig på vetenskap – det är att den verkar 'ha rätt av fel anledningar', vilket är precis det farligaste scenariot i forskningssammanhang.