Ny metod minskar hallucinationer i AI-modeller som hanterar ljud och bild samtidigt

arXiv cs.AI

När AI-modeller försöker tolka ljud och bild samtidigt kan de ibland "missa" rätt svar trots att informationen finns tillgänglig – ett fenomen forskarna kallar 'modality misrouting'. Den föreslagna metoden CaRe (Conflict-aware Residual Intervention) korrigerar detta vid inferenstillfället utan att behöva träna om modellen, och presterar bättre än befintliga jämförelsemetoder på två olika testdatasätt. Det intressanta är att felet inte handlar om att informationen saknas, utan om att modellen helt enkelt tittar åt fel håll.