Nytt ramverk utvärderar AI-agenters förmågor redan under träningen

arXiv cs.AI

Forskare har byggt ASAP, ett lättviktigt ramverk som mäter hur väl en språkmodell klarar agentuppgifter – det vill säga att självständigt planera och agera i en miljö – redan innan den finjusterats. Det intressanta är att ASAP inte omvandlar modellen till en chattbot, utan låter den köra uppgifter i sitt ursprungliga format och analyserar sedan hur beteendet förändras steg för steg under träningen. Testerna gjordes på programmeringsuppgifter och research-benchmarks, och resultaten tyder på att man kan fånga agenttänk mycket tidigare i träningsprocessen än vad som tidigare varit möjligt.