Ny metod hjälper AI-modeller lära sig ovanliga begrepp mer effektivt

arXiv cs.AI

Forskare har identifierat ett problem de kallar 'prior barrier' – att stora språkmodeller (LLMs) har svårare att lära sig ovanliga begrepp under fine-tuning (anpassning av en förtränad modell för specifika uppgifter) eftersom de redan är präglade av vanligare mönster. De föreslår en metod kallad PASS som smart väljer ut vilka träningsexempel som ger mest nytta för just de begrepp modellen har svårt med – och slår sju befintliga metoder i tester. Praktiskt sett handlar det om att få mer valuta för pengarna när man tränar AI med begränsad data.