Ordningen avgör: multimodala AI-modeller påverkas av vilken information som kommer sist

arXiv cs.AI

Forskare har upptäckt att multimodala AI-modeller (som hanterar både text, bild och ljud) inte väger bevis neutralt – det som presenteras sist i en prompt tenderar att få mer inflytande på svaret. Fenomenet kallas 'evidensnonkommutativitet', och innebär enkelt att samma bild plus samma text kan ge olika svar beroende på i vilken ordning de visas för modellen. Det är ett praktiskt problem för alla som bygger system där AI ska jämka ihop information från flera källor.