Nytt ramverk testar om AI kan koppla ihop geometri och matematiska funktioner – och misslyckas rejält

arXiv cs.AI

Forskare har byggt GAGR-Lab, ett testramverk som mäter om AI-modeller kan översätta visuella rumsliga scener till matematiska funktioner vars kurvor uppfyller geometriska krav. I pilottestet med Llama 3.2 11B Vision Instruct genomfördes 432 försök – och noll träffar, vilket antyder att denna typ av kombinerad spatial och analytisk resonering fortfarande är ett olöst problem. Intressant nog lyckades en regelbaserad sökkontroll (utan AI) perfekt på 600 fall, vilket sätter ribban tydligt.