Nytt ramverk avslöjar att AI-forskningssystem kämpar med att faktiskt genomföra experiment

arXiv cs.AI

Forskare har lanserat ResearchFlow-Eval, ett utvärderingsramverk som mäter hur väl AI-system klarar hela forskningsprocesser – inte bara enskilda uppgifter. Resultaten är tydliga: alla testade system presterar sämre i genomförandefasen än i planering och design, och upprepade försök leder sällan till förbättringar. Intressant nog hjälper varken extra specialkunskaper eller forskningsspecifik styrning systemen att prestera bättre.