Nytt gränssnitt låter AI-agenter styra program utan att ta skärmdumpar

arXiv cs.AI

Forskare bakom ASIL argumenterar att det är ineffektivt att låta AI-agenter styra program via skärmdumpar och musklick – istället exponeras apparna som strukturerad data (JSON) som agenten kan läsa och agera på direkt. Resultaten är tydliga: ASIL når över 80% framgång på 300 testuppgifter med färre än fem åtgärder per uppgift, medan klassisk skärmdumpsmetod hamnar på 6–27%. Mindre modeller som Qwen 2.5 på 9 miljarder parametrar klättrar från 66,6% till 82,2% efter träning på det nya formatet – vilket antyder att gränssnittet i sig är en stor del av problemet med dagens GUI-agenter.