Nytt riktmärke avslöjar hur AI-juridikagenter fabricerar svar

arXiv cs.AI

Forskare har byggt LexAgentHallu, ett testramverk med 3 414 fall som mäter hur och när AI-agenter inom juridik hittar på saker – det vill säga hallucinerar. Det intressanta är ett mönster de kallar 'Right-Answer-Wrong-Reason': agenten landar rätt men av fel skäl, något som traditionella utvärderingar helt missar. Testet kördes mot 18 olika AI-modeller och visar att felen tenderar att klumpa ihop sig i specifika mönster snarare än att spridas slumpmässigt.