Nytt ramverk ifrågasätter hur säkra AI-modeller egentligen är på sina svar

arXiv cs.AI

Forskare har tagit fram ett system kallat RADAR för att bättre kalibrera och granska hur säkra stora språkmodeller (LLM:er) är på sina egna svar – ett problem som är viktigare än det låter, eftersom dessa konfidenspoäng styr om ett svar godkänns, granskas eller genereras om. I tester över 47 400 scenarion lyckades deras metod identifiera förbättrade kalibreringslösningar i 42,95% av fallen, jämfört med bara 15,09% för en vanlig statistisk metod. Det intressanta är att bättre prediktorer inte automatiskt ger bättre beslut – mer information hjälper inte alltid när den tvingas komprimeras till ett enda siffervärde.