AI-agenter som förbättrar sina egna förmågor – och slår mänskliga experter
Forskare har byggt ett system kallat reSolve där AI-agenter självständigt utvecklar och förfinar sina egna 'skills' (återanvändbara instruktionspaket) utan mänsklig hjälp. Resultatet landade på 74,9% korrekthet – 14,8 procentenheter bättre än mänskligt kurerade skills och till och med bättre än GPT-4.5 med OpenHands (67,3%). Det intressanta är att en billigare modell alltså kan slå dyrare alternativ, bara genom att systemet är smartare på att verifiera och söka igenom lösningar.
Djupdykning
Forskare har länge försökt få AI-agenter att förbättra sina egna "skills" – tänk på dem som återanvändbara instruktionspaket som en agent plockar fram när den stöter på en känd typ av uppgift – men det har stulit på två klassiska problem: antingen är de självgenererade skillsen sämre än vad människor skriver för hand, eller så fungerar de bra en gång men kraschar nästa gång agenten försöker köra dem i en ny miljö. reSolve tacklar det andra problemet med ett "solve-and-reproduce"-protokoll, där lösningen måste kunna köras helt fristående i en tom container av en ny agent-instans, vilket filtrerar bort alla de där lösningarna som egentligen bara fungerade för att de hade tillgång till tillfällig kontext. Den "surrogate verifier" som nämns är en bedömningsmodell som inte har facit – den kan alltså inte fuska genom att kolla rätt svar – men ändå ge vägledande feedback under en beam search, vilket är en teknik där man utforskar flera lösningsvägar parallellt och behåller de mest lovande. Det de flesta missar här är att resultatet – 74,9% mot ett mänskligt kurerat baseline på 60,1% – inte uppnåddes med en stor eller dyr modell, utan med en billig modell inom ett fast ramverk. Det antyder att flaskhalsen i agentsystem kanske inte är modellstorlek utan arkitektur: hur väl systemet hanterar reproducerbarhet och feedback-signal. Om det håller utanför benchmarks kan det förändra kalkylen för vilket som är mer värt att investera i.