Nytt ramverk förbättrar språkmodellers förmåga att resonera i okända domäner

arXiv cs.AI

Forskare har utvecklat Route-Verify-Vote (RVV), ett system som hjälper språkmodeller att hantera resonemang i domäner de inte tränat på – utan att behöva uppdatera modellens parametrar. Systemet delar upp processen i tre steg: välj resonemangsstrategi, verifiera varje svarsalternativ, och rösta fram det bästa svaret – och nådde 79,4% korrekthet på en tävlingsbenchmark, vilket gav andraplats. Det som är intressant är att noggrannheten höjs betydligt bara genom att fördela fler beräkningar på frågor där modellen är osäker, utan någon träning alls.