Kan AI bedöma kvaliteten på AI-förklaringar?

arXiv cs.AI

Forskare har testat om stora språkmodeller (LLM:er) kan ersätta mänskliga bedömare när man utvärderar hur bra förklaringar från förklarbar AI (XAI) faktiskt är – ett område där subjektivitet länge varit ett problem. Ramverket XAI-Arena låter LLM:er bedöma förklaringar längs åtta dimensioner, och resultaten stämmer väl överens med hur människor bedömer samma förklaringar (Spearmans rho=0,693). Det praktiska värdet är enkelt: i stället för dyra och svårskalade användarstudier kan man nu automatisera en stor del av utvärderingsarbetet.