Nytt test avslöjar att AI-agenter kämpar med motstridiga arbetsplatsdokument

arXiv cs.AI

Forskare har skapat MMEnterprise-Bench, ett testramverk med 1 613 frågor, för att mäta hur bra AI-agenter hanterar verkliga arbetsplatsdokument som uppdateras och revideras över tid. Resultaten är nedslående: även de starkaste modellerna har svårt när information från olika källor eller tidpunkter motsäger varandra. Intressant nog hjälper det inte nämnvärt att låta modellen hämta mer data – bättre informationssökning leder alltså inte automatiskt till bättre svar.