Ny teori: AI-utvärdering kan aldrig bevisa vad en modell inte klarar av

arXiv cs.AI

Forskare har formaliserat ett grundläggande problem med hur vi testar AI-modeller: en utvärderare kan bara certifiera att en modell når en miniminivå, aldrig att den saknar en viss förmåga. Det betyder att en modell som låtsas vara svagare än den är ('sandbagging') är omöjlig att avslöja med beteendebaserade tester – utvärderaren kan inte se skillnad på äkta svaghet och medveten undvikelse. Slutsatsen är ganska obekväm: alla säkerhetsbedömningar som enbart bygger på beteendetester måste i praktiken förutsätta att modellen samarbetar ärligt.