Nytt testverktyg avslöjar när GPT-4o resonerar rätt men av fel anledningar

arXiv cs.AI

Forskare har utvecklat en metod för att kontrollera om stora språkmodeller (LLM:er) verkligen använder sina uttalade resonemangssteg – eller bara råkar landa rätt. Genom att byta ut enskilda premisser med nonsensord och se om modellens slutsatser förändras, uppnådde metoden F1-poäng på 0,806 mot GPT-4o, jämfört med 0,343 för en standardbaseline. Särskilt intressant: 66% av korrekt lösta problem innehöll minst ett resonemangssteg som inte verkade bero på den premiss det påstod sig använda – ett 'rätt svar, fel anledning'-fenomen som vanliga tester missar helt.