Nytt testverktyg avslöjar fel i AI-genererad forskning

arXiv cs.AI

När AI-agenter börjar producera forskningsresultat snabbare än människor hinner granska dem uppstår ett trovärdighetsproblem – och det är precis det ARATest försöker lösa. Verktyget omvandlar textbaserade forskningspåståenden till körbara tester och hittade i en studie av 243 påståenden åtta faktiska regelbrott, varav två bekräftade fel i publicerade artiklar. ARATest klarade dessutom att upptäcka alla 553 inplanterade testfel utan ett enda falskt larm – bättre än två LLM-baserade granskare.