Mistral lanserar 'Le Chonk' – en AI-modell med en biljon parametrar
Franska Mistral har släppt Large 4, smeknamnat Le Chonk, med totalt en biljon parametrar – upp från 675 miljarder i föregångaren, men bara 49 miljarder är aktiva samtidigt (ett effektivitetstrick kallat sparse activation). Modellen är tränad på över 160 språk, inklusive alla EU:s officiella språk, och ska vara särskilt stark inom programmering, cybersäkerhet och finans. Vikterna planeras bli öppet tillgängliga den 27 oktober efter säkerhetsgranskning.
Djupdykning
Mistral fortsätter att vara det franska svaret på Silicon Valleys AI-dominans, och Large 4 är deras hittills tuffaste argument för att Europa faktiskt kan konkurrera. Den tekniska detaljen de flesta missar här är skillnaden mellan totala och aktiva parametrar – modellen har en biljon parametrar totalt, men använder bara 49 miljarder åt gången. Det är en arkitektur som kallas MoE (Mixture of Experts), där olika "experter" i nätverket aktiveras beroende på uppgiften, ungefär som att ha ett helt kontor med specialister men bara kalla in dem när de faktiskt behövs. Det gör modellen mycket effektivare att köra i praktiken än råsiffran antyder. Att Mistral dessutom tränat på alla 27 EU-länders officiella språk luktar medveten positionering mot offentlig sektor och reglerade branscher – precis de miljöer där amerikanska jättar haft svårast att vinna förtroende.