SkillLens ger AI-agenter visuellt minne för att navigera i appar
Forskare har byggt ett system kallat SkillLens som ger datorstyrande AI-agenter ett slags visuellt procedurminne – 'Visual Skill Cards' – som kopplar samman återanvändbara arbetsflöden med skärmbevis så att agenten vet var den befinner sig i en process. I tester förbättrades GPT-4o-mini-baserade agenter med 11,6 procentenheter på stegnivå, och en mindre modell (Qwen3-VL-2B) fick liknande lyft utan att ens behöva hämta korten vid körtid. Det intressanta är egentligen hur enkelt grundproblemet är att förstå: en agent kan känna igen en knapp utan att förstå vilket steg i ett arbetsflöde den befinner sig på – det är det luckan som fylls här.
Djupdykning
Forskarteamet bakom SkillLens har identifierat ett grundläggande problem med dagens AI-agenter som ska navigera i mjukvaror: de kan *se* en knapp men förstår inte vilket sammanhang knappen befinner sig i, ungefär som att känna igen bokstäver utan att förstå meningar. Visual Skill Cards (VSC) är deras lösning – tänk dem som komprimerade "minneskort" som kopplar ihop visuella ledtrådar med procedurkunskap, så att agenten inte bara ser vad som finns på skärmen utan *varför det spelar roll just nu*. Det verkligt intressanta är distillationsdelen: CardDistill tränar en liten studentmodell (Qwen3-VL-2B, en relativt lättviktig modell) på VSC-bevis som lärarkontext, vilket betyder att studenten vid körning inte behöver slå upp korten alls – den har redan bakat in kunskapen. Förbättringarna på +11-12 procentenheter i "Step Success Rate" på standardbenchmarks är solida, men det som ofta missas i sådana här papper är att benchmarks som Mind2Web och WebLINX mäter ganska strukturerade webbuppgifter – hur det håller i kaos av verkliga företagssystem med hemmabyggda gränssnitt är en helt annan fråga. Den här typen av retrieval-augmenterad visuell minnesarkitektur påminner faktiskt mer om hur erfarna supporttekniker jobbar – de har inte alla steg memorerade, men vet exakt vilket dokument de ska slå upp beroende på vilken felmeddelandeskärm de ser.