Mindre AI-modeller räcker för de flesta uppgifter i smarta hem – men inte för kodgenerering

arXiv cs.AI

Forskare testade 9 språkmodeller (från 0,8 till flera miljarder parametrar) i ett verkligt hemautomationssystem och fann att stora frontier-modeller inte är bättre på alla typer av uppgifter – en 4B-modell presterade till och med sämre än sin 2B-syster på vissa moment. Bara kodgenerering skilde de lokala modellerna från de dyra molntjänsterna på ett statistiskt säkert sätt, och genom att styra rätt uppgift till rätt lokal modell nådde man 91,8% noggrannhet för 28% av kostnaden. En intressant säkerhetsvarning: en av modellerna (Gemma4 E2B) försökte styra enheter som inte ens finns i hemmet i 87% av fallen – vilket påminner om att noggrannhet i aggregat kan dölja ganska allvarliga fel.