AI-modeller påverkas kraftigt av i vilken ordning information presenteras

arXiv cs.AI

En ny studie visar att stora språkmodeller (LLM) är förvånansvärt känsliga för i vilken ordning de får in data – när 15 olika modeller testades på uppgiften att hitta den vanligaste etiketten i en samling texter, skilde sig träffsäkerheten med upp till 90 procentenheter beroende på ordningen. Modellerna presterade bäst när de mest representativa exemplen kom i början, och analyser av deras resonemang visar att de konsekvent lägger mer vikt vid tidiga instanser. Det är ett rejält problem för alla som använder AI för att analysera exempelvis kundrecensioner eller sociala medier – svaret du får beror på hur du råkar sortera indata.