Ny metod avslöjar när AI-modeller ignorerar sina egna källor

arXiv cs.AI

Forskare har identifierat ett problem med RAG-modeller (AI som hämtar extern information för att svara): modellen kan hitta rätt dokument men ändå välja att ignorera det. Genom en teknik kallad Latent Trajectory Shift (LTS) – som mäter hur modellens interna tillstånd förändras lager för lager – visade de att det som bäst förutsäger vad modellen väljer inte är samma sak som det som bäst styr valet. Det är ett subtilt men viktigt fynd: att förstå en modells beteende och att kontrollera det kräver olika verktyg.