Ny metod fångar information som bara uppstår när flera AI-modaliteter samverkar

arXiv cs.AI

Forskare har utvecklat HRIL, en metod för att bättre hantera 'synergiinformation' – det vill säga signaler som bara dyker upp när exempelvis text och bild tolkas tillsammans, inte var för sig. Tekniken använder något som kallas tensordekomposition (ett sätt att matematiskt bryta ner komplexa flerdimensionella samband) för att bevara dessa svårfångade interaktioner i AI-modeller. I tester presterade HRIL konsekvent bättre än befintliga multimodala metoder, särskilt på uppgifter där synergin mellan modaliteter var avgörande.