Ny metod gör statistiska beräkningar med språkmodeller mer effektiva

arXiv cs.AI

Forskare har utvecklat en teknik för att mer effektivt beräkna väntevärden (statistiska genomsnitt) från språkmodeller – ett vanligt behov i många AI-tillämpningar. Metoden utnyttjar de sannolikheter som modellen redan räknar ut när den genererar text, och reducerar variansen i skattningarna markant utan extra beräkningskostnad. Det är inte spektakulärt men löser ett praktiskt problem som påverkar allt från textutvärdering till modellanalys.