Ny metod lär AI-modeller att tänka lagom länge

arXiv cs.AI

Forskare har identifierat ett vanligt problem hos AI-modeller tränade med förstärkningsinlärning: de lägger för mycket tankearbete på enkla frågor och för lite på svåra. Deras nya metod, CARE, löser detta genom att belöna modellen för att justera resonemangslängden per fråga – resultatet är upp till 4% bättre prestanda samtidigt som textgenereringen blir 37% kortare. Poängen är egentligen ganska intuitiv: det är inte de lättaste eller svåraste frågorna som tjänar på mer betänketid, utan de som är 'halvsvåra'.