Smartare metod kan göra AI-rankningar mer tillförlitliga med färre jämförelser
När AI-modeller utvärderas av andra AI-modeller (så kallad LLM-as-a-judge) finns systematiska felvärderingar inbyggda – exempelvis att modeller favoriserar längre svar eller sina egna alster – och dagens lösning är att bara köra fler och fler jämförelser, vilket varken är statistiskt korrekt eller klimatsmart. Forskare föreslår istället ett ramverk som modellerar och korrigerar för dessa snedvridningar direkt, vilket ger tillförlitligare rankningar från betydligt färre jämförelser. Beräkningskostnaden för korrektionen är försumbar jämfört med att faktiskt köra en LLM-inferensrunda.
Djupdykning
När AI-system ska utvärderas idag används ofta andra AI-modeller som domare – det kallas LLM-as-a-judge – men det finns ett grundläggande problem som branschen mest försöker köra runt snarare än lösa. Istället för att hantera att dessa domarmodeller har systematiska fördomar (de gillar längre svar, favoriserar det alternativ som visas först, och röstar gärna för sig själva om de råkar bedöma sin egna output) så kör man bara fler och fler jämförelser och hoppas att felen tar ut varandra. Det är ungefär som att ha en skev våg och lösa det genom att väga saker hundra gånger istället för att kalibrera vågen. Den här forskningen föreslår istället en statistisk modell som explicit räknar med dessa bias-faktorer och korrigerar för dem, vilket innebär att du kan få tillförlitliga rankningar med en bråkdel av antalet jämförelser – och eftersom modellkörningar kostar både pengar och energi är det ingen liten sak. Det de flesta missar här är att problemet egentligen handlar om mätteori, inte om AI specifikt: du kan inte kompensera för ett systematiskt mätfel med mer data, det är statistik 101, och ändå är det exakt det hela leaderboard-industrin bygger på just nu.