Ny metod minskar hallucinationer i multimodala AI-modeller via förstärkningsinlärning

arXiv cs.AI

Forskare har utvecklat DEEPO, en teknik för att minska hallucinationer (när AI hittar på fakta) i multimodala stora språkmodeller som hanterar både text och bild/video. Problemet de löser är att vanlig förstärkningsinlärning missar de tillfällen då modellen är fel men ändå säker på sig – precis de fall som är svårast att rätta till. På det komplexa videobenchmarket VideoMMMU förbättrades resultaten med 4,0 procentenheter, vilket är statistiskt säkerställt.