Ny metod förbättrar effektiviteten hos diffusionsbaserade språkmodeller

arXiv cs.AI

Forskare har tagit fram T2Quant, ett ramverk som anpassar precisionen i så kallad kvantisering (en teknik för att komprimera AI-modeller) beroende på både uppgiftstyp och vilket steg i genereringsprocessen modellen befinner sig i. Det intressanta är att systemet klarar detta utan att behöva märkta träningsdata – och på sex olika tester ger metoden upp till 6,7 procentenheters förbättring jämfört med befintliga tekniker. Praktiskt sett handlar det om att få diffusionsbaserade språkmodeller att prestera bättre utan att öka beräkningskostnaden.