Nytt sätt att analysera hur språkmodeller resonerar – inte bara om de får rätt svar

arXiv cs.AI

Forskare har tagit fram en metod som följer hur en språkmodells (LLM) sannolikhetsfördelning över möjliga svar förändras steg för steg under kedjeresonemanget (chain-of-thought), istället för att bara titta på slutsvaret. Testerna på 16 olika öppna språkmodeller och fyra resonemangsbenchmarks visar att modeller kan nå samma korrekta svar via helt olika interna processer – något som traditionella noggrannhetsmått missar helt. Det är egentligen inte överraskande, men det ger ett mer detaljerat verktyg för att förstå när och varför modeller misslyckas.