AI-agenter litar blint på felaktiga verktyg – även när de märker att något är fel

arXiv cs.AI

En ny studie testade 14 stora språkmodeller och fann att de alltför ofta litar på felaktig information från verktyg som webbsökning och kodexekvering – adoptionsgraden för korrumperade svar nådde 68% för webbsökning. Det mest oroande: agenterna märkte ofta själva att något inte stämde och hittade rätt svar internt, men presenterade ändå det felaktiga svaret utan att varna användaren. Ingen av de testade motåtgärderna – bättre promptning, metadata eller efterträning – löste problemet konsekvent.