Kan AI-agenter lösa dyra upprepade uppgifter billigare – och hur bra går det?

arXiv cs.AI

Forskare har testat om stora språkmodeller (LLM:er) kan ta en uppgift de klarar bra och omvandla den till en billigare, återanvändbar lösning – till exempel genom att träna en liten modell eller skriva ett program. Resultaten är blandade: 48 av 60 försök presterade sämre än modellens vanliga direktanrop, men i bästa fall – med Opus 5 på produktrelevansklassificering – behöll agenten 82% av kvaliteten till en kostnad som var 657 gånger lägre. Det intressanta är att hög förmåga på en uppgift inte alls garanterar att modellen är bra på att 'flaska in' den förmågan effektivt.