AI-agent lär sig nya färdigheter utan facit – och gör inga fel
Forskare har byggt en AI-agent som på egen hand utökar vad den kan beräkna, utan belöningssignaler, domarmodell eller rätta svar att jämföra med. Tricket är att två oberoende lösningar måste komma fram till exakt samma svar innan en ny förmåga godkänns – systemet förkastade 138 av 138 felaktiga varianter som andra vanliga metoder skulle ha godkänt. På nya domäner ökade agenten antalet frågor den kunde besvara tio- till tjugofaldigt, vilket är ovanligt robust för ett sådant här system.
Djupdykning
Forskarna bakom den här studien har byggt ett system där en AI-agent kan lära sig nya förmågor helt på egen hand – utan att någon berättar om den har rätt eller fel. Agenten arbetar med ett litet, precist programmeringsspråk (DSL, domain-specific language – tänk ett miniverktyg för att ställa exakta frågor mot data) och utökar det själv när den stöter på frågor den inte kan besvara. Tricket är att varje ny "operator" den uppfinner måste godkännas av en oberoende andra implementation som når samma svar, plus att resultatet måste följa en bevarandelag – typ att summor faktiskt går ihop. Det låter tekniskt, men konsekvensen är brutal: systemet förkastade 138 av 138 felaktiga operatorer, medan de metoder branschen vanligtvis litar på – självkonsistens, komprimering, betygsättande modeller – godkände de flesta av dem. Det de flesta missar här är att problemet med självförbättrande AI inte är att den lär sig för långsamt, utan att den lär sig fel saker med falsk säkerhet. Nästan all forskning på agenter som förbättrar sig själva förlitar sig på belöningssignaler eller domarbedömningar, och de kan ge en agent godkänt för ett svar som verkar rimligt men faktiskt är tokigt i en databas med hårda siffror. Det här systemet byter ut "troligt rätt" mot "bevisbart rätt" – och det är en fundamentalt annorlunda ambition. När samma mekanism sedan applicerades på två helt olika domäner och expanderade antalet besvaransvärda frågor tio- till tjugofaldigt utan att ändra en rad kod, börjar det likna något mer principfast än ett clever hack.