Nytt verktyg låter AI-modeller bedöma sin egen tillförlitlighet utan extra beräkningar

arXiv cs.AI

Forskare har tagit fram ActMap, en metod som låter stora språkmodeller (LLM) avgöra om ett svar kan litas på – direkt under genereringen, utan att behöva köra modellen flera gånger. Metoden komprimerar modellens interna aktiveringar (hur information flödar genom nätverkets lager) till en kompakt 96 KiB-fil och når samma träffsäkerhet som tidigare metoder som kräver 67 gånger mer data. Det praktiskt intressanta är att det inte kostar någonting extra i beräkningstid – något som länge varit ett hinder för att bygga tillförlitliga AI-system i produktion.