Ny komprimeringsteknik krymper stora AI-modeller 5x utan större kvalitetsförlust

arXiv cs.AI

Forskare presenterar DictLLM, en metod för att komprimera stora språkmodeller så att de får plats på mobilenheter – utan att behöva träna om modellen från grunden. Tekniken krymper LLaMA-7B med 5,1 gånger och försämrar bara modellens språkförståelse marginellt (2,9 poäng på ett standardmått kallat perplexity). Det intressanta här är att de lyckas med 3,6 gånger högre komprimering än nuvarande toppmetoder, vilket kan göra det betydligt mer realistiskt att köra kraftfulla AI-modeller direkt på din telefon.