Nytt test avslöjar att AI-modeller är dåliga på analogiskt tänkande

arXiv cs.AI

Forskare har skapat ett nytt riktmärke kallat ARCANA för att testa om AI-modeller kan resonera analogiskt – alltså dra kopplingar mellan till synes orelaterade domäner. Människor klarar uppgifterna utan problem, men dagens stora språkmodeller (LLM) presterar betydligt sämre och uppvisar tydliga systematiska brister. För att minska gapet introducerar forskargruppen också ett ramverk kallat ConceptSIR, som hjälper modellerna att lösa några av de svåraste uppgifterna – men långt ifrån alla.