EvolveScaler: Nytt ramverk testar hur bra AI klarar av information som förändras över tid

arXiv cs.AI

Forskare har byggt EvolveScaler, ett system som skapar träningsdata för att testa hur väl språkmodeller hanterar konversationer där fakta ändras eller återkallas längs vägen – ett vanligt problem i verkliga scenarion. Systemet genererade drygt 35 100 träningsexempel och 585 utvärderingsinstanser, och resultaten är talande: på den svåraste nivån klarar bästa modellen bara 59,3%, medan sex modeller hamnar under 10%. Att finjustera en mindre modell på bara 6 000 av dessa exempel gav ändå ett snittlyft på 5,25 procentenheter över åtta olika externa test – vilket antyder att träningsdatan faktiskt generaliserar.