EMO: Förträning av expertmixmodeller för framväxande modularitet

Hugging Face Blog

Forskare introducerar EMO, en ny metod för att träna stora AI-modeller där olika delar av nätverket specialiserar sig på olika uppgifter utan explicit programmering. Tekniken använder 'mixture of experts' (expertsystem där olika delar aktiveras för olika problem) för att automatiskt utveckla modulär struktur under träningsprocessen, vilket kan göra modellerna mer effektiva och tolkbara.