Inbyggda uppmärksamhetssignaler förbättrar fysiskt resonemang i bildtolkande AI-modeller

arXiv cs.AI

Forskare har testat olika sätt att träna synspråkmodeller (AI som kombinerar bild- och textförståelse) att resonera bättre om fysik – exempelvis att avgöra hur objekt rör sig eller förhåller sig i rummet. Resultatet visar att externa belöningssignaler, där en utomstående kontrollant bedömer svaren, ger störst noggrannhetsvinster, men att modellens egna interna uppmärksamhetssignaler fungerar som ett gratis komplement som förbättrar spatial förståelse utan att kräva manuell märkning av data. Kombinationen av båda metoderna höjer prestandan på Molmo 2-modellen och håller även för uppgifter modellen inte tränats på.