AI-modeller dömer utan att bry sig om reglerna

arXiv cs.AI

Forskare testade fem olika AI-modeller på 20 regelområden och fann att modellerna ofta gav samma juridiska bedömning oavsett om den bakomliggande regeln raderades, byttes ut eller vändes upp och ned – en regelefterlevnad som alltså inte riktigt bygger på reglerna. Särskilt graverande: den specialbyggda 'guard model' (en modell designad just för regelgranskning) presterade sämst av alla, knappt bättre än slumpen på 51%, jämfört med 90–92% för vanliga universalmodeller. Det väcker en rimlig fråga för alla som redan använder LLM-system för compliance-beslut i verkliga miljöer.