Smartare gallring av AI-resonemang sparar beräkningskraft

arXiv cs.AI

Forskare har tagit fram en metod för att effektivare sålla bland de många lösningsförslag som resonerande AI-modeller genererar under inferens (när modellen faktiskt används, inte tränas). Nyckeln är att optimera ett mått kallat pass@k – sannolikheten att minst ett av de kvarvarande förslagen leder till rätt svar – vilket automatiskt balanserar kvalitet och variation utan att hantera dem separat. Metoden testades på åtta öppna modeller och slog befintliga gallringsstrategier, särskilt när man behåller ett måttligt antal kandidater.