Nytt riktmärke avslöjar brister i AI-modeller som fattar beslut utan text

arXiv cs.AI

Forskare har lanserat TypedBench, ett riktmärke (benchmark) för att utvärdera AI-modeller som spottar ur sig sannolikheter för kategoriska val – utan att ge någon textförklaring – vilket gör fel svårare att upptäcka. Testerna visar att den hostade modellen är känslig för hur frågor formuleras och systematiskt undersjälvsäker, vilket under vissa kostnadsscenarion faktiskt ger sämre utfall än att bara ta modellens toppval. Intressant nog klarar öppna decoder-modeller (0,8B–9B parametrar) policyföljsamhet sämst och blir långsammare ju fler svarsalternativ som läggs till.