När AI-domare bedömer AI-svar – felen är inte slumpmässiga

arXiv cs.AI

Forskare har undersökt hur väl automatiserade 'domare' (LLM-modeller som bedömer om ett svar är rätt eller fel) fungerar när man utvärderar hur säkra AI-system är på sina egna svar. Med 4 LLM-modeller och 7 olika osäkerhetsmätare visade experimenten att domarens felprocent inte säger särskilt mycket om hur allvarligt felen faktiskt påverkar utvärderingen – och att misstagen tenderar att drabba de mest informativa mätarna hårdast. Det är ett subtilt men viktigt problem: de verktyg vi använder för att mäta AI:s tillförlitlighet kan systematiskt ge en skev bild just när det spelar störst roll.