Nytt riktmärke avslöjar att AI-agenter kämpar med molekylär design

arXiv cs.AI

Forskare har lanserat MolDesignBench, ett testramverk med 2 000 uppgifter för att utvärdera hur bra LLM-baserade AI-agenter klarar av att designa molekyler i verklighetsnära scenarier – och resultaten är nedslående. Den bästa modellen nådde bara 43% framgångsfrekvens, och de vanligaste felpunkterna var att tolka underförstådda krav och att känna igen när en uppgift faktiskt är omöjlig att lösa. Intressant nog är problemet alltså inte att AI:n saknar kemisk kunskap, utan att den inte förstår när den borde ge upp.