Nytt träningsramverk får AI att bättre känna sina egna gränser

arXiv cs.AI

Stora språkmodeller tränade med förstärkningsinlärning tenderar att bli övertygade om sina egna svar även när de har fel – ett problem som kallas felkalibrering. Forskarna bakom RL-ARC föreslår ett ramverk som använder modellens resonerande (hur den tänker steg för steg) som en extra signal för att kalibrera hur säker den faktiskt bör vara på sitt slutsvar. I tester klarar RL-ARC att minska övertron utan att försämra resoneringsförmågan nämnvärt, vilket är just det avvägningsproblem som tidigare metoder inte löst.