Hur pålitliga är AI-beslutsmodeller när reglerna förändras?

arXiv cs.AI

Forskare har undersökt hur AI-modeller som fattar beslut utifrån angivna regler och observerade data faktiskt reagerar när dessa regler eller data ändras – ett problem som aggregerad träffsäkerhet (accuracy) inte avslöjar. Resultaten visar bland annat att hur en regel formuleras påverkar modellens svar mer än man kanske vill, och att motstridiga regeluppsättningar ger små och instabila förbättringar. Det är en nykter påminnelse om att en hög genomsnittlig prestanda kan dölja oroande känslighet för hur information presenteras.