Ny RL-metod förbättrar grammatikstyrd textgenerering utan träningsdata

arXiv cs.AI

Forskare har tagit fram GrammarRL, en metod som använder förstärkningsinlärning (reinforcement learning) för att få språkmodeller att följa grammatikregler utan att tappa semantisk kvalitet – ett känt problem när man tvingar modeller att hålla sig inom strikta strukturer. Metoden testades på Llama-modeller mellan 1 och 8 miljarder parametrar och gav i snitt 9,8 poängs förbättring, med upp till 22,8 BLEU-poäng bättre resultat jämfört med vanlig grammatikstyrd avkodning. Det intressanta är att den matchar dyrare beam search-metoder men behåller låg beräkningskostnad – ett praktiskt framsteg snarare än ett teoretiskt.