Matematiska garantier för när AI-system får fatta beslut i verkligheten

arXiv cs.AI

Forskare har tagit fram ett teoretiskt ramverk för att säkerställa att AI-styrsystem (så kallade 'black-box generators', alltså modeller vars inre logik är okänd) inte fattar osäkra beslut – oavsett hur de underliggande modellerna beter sig eller byts ut. En central insikt är att om ett system provar flera förslag i rad och accepterar det bästa, kan felfrekvensen skena: med felmarginalen α per försök når den upp till 1-(1-α)^k efter k försök. Det intressanta här är att ramverket ger formella säkerhetsgarantier som håller även om AI-komponenten byts ut eller aktivt försöker lura säkerhetssystemet – vilket är en ovanligt praktisk angreppsvinkel på ett annars abstrakt problem.