AI-agenter kan ha rätt svar men ändå missa när de borde tvivla

arXiv cs.AI

En ny studie testar om AI-agenter (system som självständigt löser uppgifter i flera steg) faktiskt erkänner osäkerhet när bevis kolliderar med deras inbyggda kunskap – och resultaten är lite oroande. Hög träffsäkerhet på uppgifter garanterar inte att agenten kommunicerar när den är osäker: vissa agenter märker konflikten tidigt men 'glömmer' den i senare steg och levererar ändå ett felaktigt svar med självförtroende. Att försöka träna in mer epistemisk ödmjukhet (benägenheten att erkänna vad man inte vet) tenderar att försämra uppgiftsprestandan – vilket tyder på att det är en svår balansgång.