PFArena: nytt riktmärke testar AI-modellers förmåga att modifiera proteiner

arXiv cs.AI

Forskare har lanserat PFArena, ett riktmärke (benchmark) som utvärderar hur väl olika AI-modeller klarar av att föreslå och ranka proteinmutationer – ett område där lab-experiment är dyra och tidskrävande. Resultaten visar att proteinspecifika språkmodeller är bäst på att generera enskilda mutationer, medan stora språkmodeller (LLM) presterar bättre när de ska ranka kombinationer av mutationer och har tillgång till experimentell data. Alla modelltyper kämpar dock när sökutrymmet växer och antalet mutationer ökar.