Ny röstningsmetod förbättrar AI-agenter som söker information i flera steg

arXiv cs.AI

Forskare har identifierat ett problem med hur AI-agenter värderar sina egna svar när de söker information: modellerna ger konstlat höga sannolikheter åt text de kopierat från hämtade dokument, vilket förvränger urvalet av rätt svar. Den nya metoden RGV (Retrieval-Grounded Voting) löser detta genom att istället mäta hur mycket svaret faktiskt överlappar med källdokumenten – och presterar upp till 5,4 procentenheter bättre än tidigare metoder. Det är en liten men viktig detalj: ju mer AI-system agerar autonomt och hämtar extern information, desto mer spelar den här typen av kalibrering roll.