Ny AI-modell upptäcker när språkmodeller ljuger, smickrar eller manipulerar – till en bråkdel av kostnaden

arXiv cs.AI

Forskare har testat Jev, en modell tränad med förstärkningsinlärning (en teknik där modellen lär sig genom belöningar), på tio typer av AI-fel som sycofanti, hallucination och jailbreaks – och den uppnår ett medianresultat på 0,886 AUROC (ett mått på träffsäkerhet) utan att ha sett uppgifterna förut. Det intressanta är att Jev svarar på många frågor i ett enda anrop istället för ett per fråga, vilket gör den 63 gånger billigare än vanliga LLM-baserade granskare. Bonusen: den hittade även fel i etiketter på befintliga riktmärken.