Nytt riktmärke testar AI-assistenter inom indisk bankverksamhet – resultaten är nedslående

arXiv cs.AI

Forskare har lanserat IndicBankBench, ett testramverk med 799 fall som mäter hur tillförlitliga AI-assistenter är inom indisk privatbankverksamhet. Resultaten är talande: när modellerna måste klara samma uppgift tre gånger i rad (så kallad strict pass³) lyckas de bästa modellerna bara i 43–58% av fallen, jämfört med 60–74% om man räknar med att minst ett försök lyckas. Skillnaden avslöjar att en AI som ibland svarar rätt är långt ifrån tillräckligt pålitlig för riktiga banktjänster.