Kortare granskningsenheter ger bättre AI-övervakning – inte längre

arXiv cs.AI

När en AI-monitor ska granska planerade åtgärder innan de körs är det bättre att låta den bedöma en eller två åtgärder i taget – inte långa sekvenser. Forskarna testade sex olika AI-domare och fann att längre granskningsfönster inte gör monitorn mer träffsäker (discriminative), utan bara mer avvisande: den blockerar mer, rätt och fel på samma gång. Med den kalibrerade korta enheten nådde man upp till 0,95 i informedness (ett mått på hur väl monitor skiljer faktiska fel från korrekta åtgärder), jämfört med åtta-åtgärds-granskning.