SC-Arena: Nytt benchmark för att testa AI-modellers förmåga inom cellbiologi

arXiv cs.AI

Forskare har utvecklat SC-Arena, ett nytt sätt att testa hur bra AI-modeller är på att förstå och resonera om cellbiologi på naturligt språk. Benchmarken använder fem olika uppgifter och inkluderar biologisk kunskap i utvärderingen, vilket visar att nuvarande modeller har ojämn prestanda särskilt när det krävs djupare förståelse för biologiska mekanismer.