Nytt ramverk låter AI-agenter navigera grafiska gränssnitt mer effektivt

arXiv cs.AI

Forskare har tagit fram MaP, ett ramverk som tränar AI-agenter att självständigt navigera i vanliga datorprogram – tänk appar och webbgränssnitt – genom att förutsäga maskerade delar av interaktionssekvenser. Problemet de löser är konkret: när man blandar olika navigationsuppgifter i träningen krockar optimeringsmålen, men MaP kringgår det med en gemensam målsättning och en modul som dynamiskt sorterar data till rätt representationsrum. Resultaten på fem olika riktmärken visar tydliga förbättringar jämfört med att bara blanda träningsdata rakt av.