Ny metod avgör när kalibrering av komprimerade AI-modeller faktiskt hjälper

arXiv cs.AI

Forskare har undersökt när så kallad PTQ-kalibrering – en teknik för att finjustera komprimerade (4-bitars) språkmodeller – förbättrar eller förstör prestandan. På modellen EmbeddingGemma kunde samma process ge allt från +1,47 till -71,53 poäng i sökträffsäkerhet beroende på hur aggressivt man körde kalibreringen. Det intressanta är att de också testade en valideringsbaserad "grindvakt" som automatiskt avbryter kalibreringen om den inte klarar att slå ursprungsmodellen – och den valde aldrig en sämre modell i 30 beslut, men missade ibland en förbättring.