Studie: AI-agenter missar ofta när information manipuleras

arXiv cs.AI

Forskare har testat hur väl stora språkmodeller (LLM-agenter) klarar av störd eller felaktig information i verkliga uppgifter – och resultaten är inte smickrande. Agenterna känner sällan igen manipulerad input och sprider vidare felaktig information utan att ifrågasätta den, vilket dessutom kan kräva betydligt mer beräkningskraft för att slutföra en uppgift. Det pekar på ett tydligt behov av träningsmetoder som belönar verifiering och osäkerhetsmedvetenhet – något som saknas i dagens modeller.