Gamla träningsdata kan sabotera nya AI-regler – även efter finjustering

arXiv cs.AI

Forskare har undersökt hur väl operatörer faktiskt kan styra AI-modellers beteende via systemprompts och finjustering (LoRA), och svaret är: sämre än man hoppas. De kallar fenomenet 'alignment inertia' – att modellen håller fast vid beteenden inlärda under ursprungsträningen – och i ett fall ökade finjusteringen faktiskt problemet med 46,5 procentenheter i stället för att lösa det. Studien ger konkreta mätverktyg (OSR och TRAK) för att identifiera var gamla träningsdata sätter käppar i hjulet för nya policybeslut.