Nytt riktmärke testar AI-agenter på att bygga VR/AR-appar – med nedslående resultat

arXiv cs.AI

Forskare har lanserat GenXR-Bench, det första riktmärket (benchmark) för att utvärdera hur väl AI-kodningsagenter klarar av att bygga interaktiva VR- och AR-applikationer. Testet innehåller 112 uppgifter och visar att den bästa modellen bara lyckas med 50,9% av fallen – vilket antyder att 3D-miljöer med rörelseinput och rumslig interaktion fortfarande är genuint svårt för dagens agenter. Vanliga fallgropar är bland annat bristande förståelse för sensorer som körs asynkront (inte i realtid utan i separata processer) och hur fysisk interaktion i rummet faktiskt fungerar.