FastE: Readout-Triggered Token Compression for LLM Embedding Inference

arXiv cs.AI

Forskare har utvecklat FastE, en metod som effektiviserar hur stora språkmodeller (LLM:er) skapar embeddings – numeriska representationer av text och bilder som används vid sökning och klustring. Metoden tar bort överflödiga beräkningar i de djupare lagren av modellen och minskar beräkningskostnaderna med drygt 40% på Qwen3-Embedding, medan prestandan sjunker med knappt 0,5%. Det smarta är att det fungerar utan att man behöver träna om modellen.