Nytt riktmärke avslöjar att AI-agenter fortfarande kämpar med komplex bioinformatik

arXiv cs.AI

Forskare har lanserat OmicsBench, ett nytt testramverk med 97 uppgifter (totalt 662 deluppgifter) för att mäta hur bra AI-agenter klarar av verklig biologisk dataanalys över långa, flerstegssessioner. Resultaten är nedslående: 12 testade modeller når bara 0,43–0,67 poäng av maximalt 1,0, och den långsammaste agenten tar i snitt 3,6 timmar per uppgift. Särskilt intressant är att agenter tenderar att 'minnas fel' – de skriver ibland svar direkt från träningsdata istället för att faktiskt köra analyserna.