Nytt ramverk löser problem när AI-modeller missar det tråkiga i bilder

arXiv cs.AI

Forskare har identifierat ett fel i hur AI-modeller kopplar ihop bilder med långa textbeskrivningar: modellerna fastnar vid iögonfallande element och ignorerar mer subtil information – ett fenomen de kallar 'saliency collapse'. För att råda bot på detta har de utvecklat RoSA, ett träningsramverk som tvingar modellen att lära sig tolka både framträdande och mer lågmält innehåll parallellt. Resultaten visar tydliga förbättringar i sökprecision, och metoden fungerar som ett tillägg till befintliga träningsmetoder.