Nytt sätt att förutsäga vilka AI-modeller som är värda att träna vidare

arXiv cs.AI

Att träna en AI-agent för kodning är dyrt – så forskare har utvecklat tre enklare screeningmetoder för att i förväg avgöra vilken basmodell som har störst potential. Metoderna testar bland annat om modellen ger rätt sannolikhetsmassa åt en 'avgörande åtgärd' i en inspelad problemlösningssekvens, utan att behöva köra hela den kostsamma träningsprocessen. Testat på tio par av bas- och färdigtränade modeller stämde rankingen väl överens med faktisk prestanda på det etablerade kodningsriktmärket SWE-bench Verified.