Nytt test avslöjar stor klyfta mellan människor och AI i visuell intuition

arXiv cs.AI

Forskare har skapat ett nytt riktmärke kallat 'Humanity's Sixth Sense' som testar om AI-modeller kan göra det människor gör instinktivt – som att på en sekund avgöra om en bil får plats i en parkeringslucka eller lista ut vem som har auktoritet i ett rum. Människor klarar testet med 93,1% noggrannhet, medan den bästa modellen, GPT-4o-astra (även kallad GPT-6-astra i artikeln), når bara 53,6%. Det intressanta är att dessa modeller presterar bra på komplexa akademiska uppgifter – men halkar rejält efter på det som vi människor gör utan att ens tänka.