Ny metod låter AI lära sig nytt utan att glömma gammalt

arXiv cs.AI

Forskare har utvecklat CiMEO, ett ramverk som tränar stora språkmodeller genom att identifiera och uppdatera specifika delnätverk (specialiserade grupper av parametrar) för olika uppgifter – ungefär som hjärnan använder olika regioner för olika förmågor. Metoden testades på 1,4 miljoner sekventiella instruktioner och presterade bäst bland jämförda metoder på fem olika benchmarks inom programmering, matematik och faktafrågor, utan att modellen 'glömde' tidigare kunskaper. Det intressanta här är att lösningen på ett av AI-forskningens klassiska problem – katastrofalt glömande – verkar vara att efterlikna hur biologisk intelligens faktiskt fungerar.