Nya kontrakt ska styra när AI-agenter får agera självständigt
Forskare föreslår något de kallar Runtime Assurance Contracts (RAC) – i korthet: formella regler som i realtid avgör hur mycket handlingsfrihet en AI-agent ska ha baserat på observerade bevis, inte aggregerade poäng. Problemet de pekar på är konkret: i ett test med 280 konstruerade fall godkände ett vanligt poängbaserat system 80 av 100 fall som egentligen borde ha blockerats helt. RAC tvingar fram ett binärt stopp vid kritiska trösklar, vilket gör det svårare att 'medelvärda bort' farliga misstag – särskilt relevant för AI i sjukvård, industri och juridik.
Djupdykning
Forskarna bakom den här artikeln pekar på ett problem som AI-branschen helst inte pratar om: att ett systems prestationspoäng och ett systems faktiska behörighet att agera behandlas som samma sak, fast de är fundamentalt olika saker. En AI-agent som fått 94% rätt på ett benchmark har fortfarande okänd status i det specifika ögonblick den ska fatta ett beslut med verkliga konsekvenser, och det är den luckan de kallar "assurance-transition gap." Deras lösning, Runtime Assurance Contract, fungerar som ett juridiskt kontrakt snarare än ett betyg – vissa villkor måste vara uppfyllda för att agenten ska få lov att agera, och om de inte är det stannar processen oavsett hur bra snittprestation agenten har. Testerna visade att ett poängbaserat system godkände 80 av 100 fall som explicit borde ha blockerats, vilket är ett slags formell bekräftelse på att "AI:n är bra i snitt" och "AI:n är pålitlig just nu" är helt olika påståenden. Det de flesta missar är att det här egentligen är en styrningsfråga, inte en AI-fråga. Samma logik gäller läkare, piloter och domare – en persons allmänna kompetens ersätter aldrig procedurerna för ett specifikt högriskmoment. Att AI-branschen har fastnat i benchmarktänkande är inte ett tekniskt misstag utan ett kategorimisstag, och det återspeglar hur fort agentbaserade system har rullats ut innan ramverken för att hantera dem har hunnit mogna.