Nytt test avslöjar att AI-modeller ofta misstar sig när bilder är vilseledande
Ett nytt benchmark-test (ett standardiserat mätverktyg för AI-prestanda) från Elorian visar att ledande AI-modeller har svårt att räkna objekt i bilder när det finns 'lockbeten' – visuella distraktioner som lurar modellen. Elorians verktyg Glimpse försöker lösa problemet genom att låta modellen resonera direkt med bilderna snarare än att översätta dem till text först. Det är en påminnelse om att se och förstå fortfarande är två olika saker för AI.
Djupdykning
Elorian har skapat ett benchmark kallat Glimpse som testar om AI-modeller verkligen *förstår* vad de ser, eller bara känner igen mönster. Testet bygger på "decoy counting" – en uppgift där distraktionsobjekt medvetet placeras i bilden för att lura modellen att räkna fel, ungefär som när ett kasino designar sin miljö för att du ska tappa orienteringen. De stora frontier-modellerna (tänk GPT-4o, Gemini, Claude) klarar sig okej på vanliga bilduppgifter, men när decoys introduceras rasar prestandan på ett sätt som avslöjar att de egentligen memorerar visuella tumregler snarare än resonerar steg för steg. Glimpse försöker råda bot på detta genom att låta modellen "tänka med bilder" – alltså iterativt gå tillbaka till bilddata under resonemangsprocessen istället för att bara konvertera bilden till text och sedan resonera i text. Det de flesta missar här är att gapet inte handlar om att modellerna är dåliga på att se – de är faktiskt imponerande på bildtolkning – utan att det saknas ett kopplingsled mellan perception och logik. Vi har länge mätt AI-syn med statiska benchmark där rätt svar går att gissa från kontexten, och Elorians poäng är att det är en farligt missvisande måttstock när man bygger system som ska fatta beslut i röriga, verkliga miljöer.