Ny metod bevarar AI-modellers resoneringsförmåga vid vidareutbildning

arXiv cs.AI

Ett vanligt problem med stora språkmodeller är att när man finjusterar dem för nya uppgifter så tappar de sin inlärda förmåga att resonera logiskt – ungefär som att plugga in ny info och glömma gammal. Forskare föreslår nu NB-LoRA, en metod som identifierar vilka delar av modellens aktiveringar som faktiskt används för resonemang och sedan ser till att vidareutbildningen sker i 'tomrummet' däremellan, utan att skriva över det viktiga. I tester matchar metoden standard-LoRA (en populär teknik för effektiv finjustering) i anpassningsförmåga, samtidigt som resoneringsförmågan bevaras nära ursprungsnivån.