Ny metod för att finjustera AI-modeller med färre parametrar

arXiv cs.AI

Forskare föreslår FrameFT, en teknik för att finjustera stora AI-modeller (som språkmodeller) med betydligt färre träningsbara parametrar än dagens populära metod LoRA. Grundidén är att använda matematiska strukturer kallade 'Fusion Frames' för att representera parameteruppdateringar glesare och mer minneseffektivt. I tester presterar FrameFT lika bra eller bättre än befintliga metoder – intressant för alla som vill köra AI på begränsad hårdvara.