Ny metod låter AI hoppa över lager utan att tappa prestanda

arXiv cs.AI

Forskare har utvecklat HeRo, ett system som låter stora språkmodeller (LLMs) hoppa över delar av sina beräkningar – och därmed bli billigare att köra – utan att offra kvalitet. På Llama 3.1-8B klarar metoden att skippa nästan 27% av modellens parametrar och ändå leverera 100,24% av originalmodellens prestanda över sju tester. Det smarta är att routern (den del som bestämmer vad som hoppas över) nu har ett minne av tidigare beslut, vilket visar sig vara extra viktigt för flerstegstänkande och kodgenerering.