COMET: Ett övervakningssystem som fångar AI-fel innan de blir farliga

arXiv cs.AI

Forskare har byggt ett ramverk kallat COMET som övervakar AI-system i säkerhetskritiska miljöer på tre nivåer samtidigt – signalkvalitet, fysikalisk rimlighet och AI-systemets kompetenszon – och visar resultatet som ett trafikljus för mänskliga operatörer. Det intressanta är varför det behövs: ett AI-system som kör utan övervakning misslyckades tyst men med hög säkerhet (så kallad 'confident failure') under alla tre typer av driftstörningar i testerna. COMET lyckades dra ned andelen felaktigt betrodda svar till noll procent i flera scenarion, med en falsklarm-nivå på bara cirka 1 procent.