Nytt testramverk avslöjar att AI-agenter klarar bara hälften av mobiluppgifter

arXiv cs.AI

Forskare har byggt APPSim-Bench, ett nytt sätt att testa AI-agenter som utför uppgifter i mobilappar – med 557 uppgifter över 17 vanliga appar på kinesiska och engelska. Resultaten är nedslående: den bästa agenten klarar bara 50,27% av uppgifterna, och nästan 29% av uppgifterna löses inte av någon agent alls. Problemen dyker framför allt upp i längre arbetsflöden och uppgifter som kräver numeriskt resonemang – en påminnelse om att 'AI som sköter din telefon åt dig' fortfarande är långt ifrån verklighet.