Nytt ramverk avslöjar vilka förmågor som överlever när AI-modeller krymps

arXiv cs.AI

När stora språkmodeller komprimeras för att bli mer driftsättningsbara mäter man vanligtvis bara om modellen fortfarande svarar rätt – men ett nytt ramverk kallat ACE-Compression testar istället vilka specifika förmågor som faktiskt överlever. Forskarna testade över 35 komprimerade versioner av sex olika öppna modeller och fann ett tydligt mönster: grova, ytliga förmågor klarar sig bra, medan mer nyanserade och kontextberoende förmågor försvagas. Kvantisering (att minska precision i modellens siffror) håller sig konsekvent bättre än pruning (att ta bort delar av modellen), men vilket som är bäst beror helt på vad applikationen faktiskt behöver göra.