Nytt testramverk avslöjar dolda svagheter hos AI-beslutsmodeller

arXiv cs.AI

Forskare har lanserat DecisionPivot, ett diagnostiskt testramverk med 48 uppgifter och över 40 000 testfall för att utvärdera hur väl AI-modeller fattar beslut i LLM-system – till exempel för trafikstyrning och säkerhetsfilter. Resultaten är talande: två modeller med nästan identiska poäng på standardtestet (skillnad på 2,6 poäng) presterade 70,1% respektive 44,2% på de mer krävande kontrastgruppstesterna, vilket visar att aggregerade mätvärden kan dölja stora skillnader i faktisk tillförlitlighet. Det som är riktigt intressant är att en modell kan vara bra på att rangordna svar utan att faktiskt svara rätt – ett gap som vanliga utvärderingar helt missar.