Nytt test visar att AI-modeller är dåliga på rumslig logik

arXiv cs.AI

Forskare har tagit fram MindTopo, ett testramverk med 11 030 uppgifter som mäter hur väl AI-modeller förstår topologi (geometriska egenskaper som håller sig stabila även när former böjs eller sträcks). Fjorton stora multimodala modeller testades, och samtliga presterade betydligt sämre än människor – särskilt på planeringsuppgifter där modellen måste agera som en agent i en miljö. Det intressanta är att modellerna klarar av att resonera om topologi hyfsat, men faller ihop så fort de ska använda kunskapen aktivt.