Nya tester avslöjar att AI-agenter kämpar med att följa komplexa regler

arXiv cs.AI

Forskare har tagit fram ett nytt testramverk kallat RuleTrek för att mäta hur väl stora språkmodeller (LLM) klarar av att identifiera och tillämpa domänspecifika regler i komplexa situationer. Resultaten från 11 ledande modeller är ganska dystra: bästa möjliga poäng för regelidentifiering och regelslutledning stannade på 62 respektive 60 procent, medan helhetsresultaten låg mellan 27 och 55 procent. Det är ett tydligt tecken på att dagens AI-agenter fortfarande har rejäla problem med regelbaserat resonemang när informationen är utspridd över flera sammanhang.