Forskare visar att AI-modeller tolkar medborgarkommentarer helt olika
Amerikanska myndigheter använder AI för att kategorisera tusentals medborgarkommentarer, men en studie av 1 260 kommentarer till jordbruksdepartementet visar att fyra olika AI-modeller organiserar samma material på helt skilda sätt. Forskarna föreslår ett nytt sätt att utvärdera AI-system där modellernas oenighet faktiskt blir en kvalitetsindikator – ju mer de är oense, desto mer bör människor granska materialet.
Djupdykning
Federala myndigheter använder AI-modeller för att sortera tusentals medborgarkommentarer om nya regler, men forskare har upptäckt ett grundläggande problem: olika AI-modeller tolkar samma kommentarer på helt olika sätt. När en modell ser en kommentar som "stödjande" kan en annan se den som "kritisk", vilket betyder att beslutsfattare får helt olika bilder av vad allmänheten egentligen tycker. Det här är inte bara en teknisk bugg - det visar att språk och åsikter är så nyanserade att även avancerad AI kämpar med grundläggande tolkning. Forskarna föreslår att myndigheterna borde använda flera modeller samtidigt och särskilt granska de kommentarer där modellerna är oeniga, snarare än att bara lita på en enda AI:s bedömning. Det ironiska är att vi kanske behöver fler AI-modeller för att förstå när AI misslyckas - lite som att använda flera översättare för att fånga nyanser som en ensam översättare missar.