AI-agenter hittar rätt artikelnummer men fel forskning

arXiv cs.AI

En ny studie visar att AI-agenter som söker i medicinska databaser har ett smygande problem: de citerar PubMed-ID:n som faktiskt existerar (327 av 335), men nästan aldrig är relevanta för påståendet de ska verifiera – bara 3 av 327 citat höll. Att låta modellen formulera egna sökfrågor istället för att använda påståendet direkt tredubblande träffsäkerheten och gav 62% korrekthet, men det verkliga taket nås inte förrän man ger modellen rätt abstrakt från början – då hoppar noggrannheten till 79–86%. Det intressanta är alltså inte att AI:n hallucinerar referenser, utan att den hittar verkliga men irrelevanta källor och ändå låter övertygad.