Nytt testverktyg avslöjar att AI-modeller kämpar med geometrisk förståelse

arXiv cs.AI

Forskare har lanserat TriGeoBench, ett testpaket med 7 000 frågor och över 12 000 geometriska figurer hämtade från kinesiska mellanstadiet och gymnasiet, för att mäta hur väl multimodala AI-modeller (som kombinerar bild och text) faktiskt förstår geometri. Resultaten visar att både öppna och kommersiella modeller har påtagliga problem med att koppla ihop visuell struktur med matematisk innebörd – vilket antyder att modellerna ofta gissar på mönster snarare än resonerar geometriskt. Det intressanta är att benchmarket inkluderar TikZ-kod (ett sätt att beskriva figurer symboliskt) vid sidan av vanliga bilder, vilket ger ett mer nyanserat sätt att skilja äkta förståelse från visuell igenkänning.