Ny metod upptäcker när AI-modeller har fel utan att behöva rätta svar

arXiv cs.AI

Forskare har utvecklat en teknik som använder en andra AI-modell för att upptäcka när den första modellen ger felaktiga svar – utan att behöva veta det rätta svaret i förväg. Metoden, som kallas Cross-Model Perplexity, presterar betydligt bättre än befintliga tekniker med 0,75 i AUROC jämfört med 0,59 för traditionella metoder. Detta kan direkt implementeras i befintliga produktionssystem för att övervaka AI-modellers tillförlitlighet.