AI-genererade skoluppgifter är svåra att kvalitetsbedöma automatiskt

arXiv cs.AI

Forskare har testat hur väl olika AI-modeller kan bedöma pedagogisk kvalitet hos AI-genererade skoluppgifter – och resultaten är blandade. Stora språkmodeller (LLMs) presterade bäst med ett F1-poäng på 0,79, medan enklare maskininlärningsmodeller bara nådde 0,48 på data de inte tränats på. Det intressanta är att problemet delvis går att lösa med smarta knep som att lägga till lärandemål i inmatningen, men omträning av modellerna gav störst förbättring.