OLMo-core 3: Öppen träningsinfrastruktur för stora AI-modeller
Hugging Face och Allen Institute har släppt OLMo-core 3, ett öppet ramverk för att träna stora MoE-modeller (Mixture of Experts – en teknik där modellen aktiverar olika specialiserade delar beroende på uppgiften). Det intressanta här är att fokus ligger på skalbarhet och öppenhet – något som annars är sällsynt när de flesta stora aktörer håller sin träningsinfrastruktur stängd.
Djupdykning
Allen Institute for AI (Ai2) har släppt OLMo-Core 3, ett öppet träningsramverk byggt specifikt för att hantera Mixture-of-Experts-modeller i stor skala. MoE (Mixture of Experts) är en arkitektur där modellen inte aktiverar hela sitt neurala nätverk för varje fråga – istället "vaknar" bara relevanta specialiserade delar upp, vilket gör träning och inferens mycket effektivare än traditionella dense-modeller som GPT-4-typen. Det är i grunden ett sätt att bygga enormt stora modeller utan att kostnaden skenar lika snabbt. Det som många missar i AI-kapplöpningen är att kampen om själva träningsinfrastrukturen är minst lika viktig som kampen om modellerna. Meta, Google och Mistral har alla sina egna interna system för detta – och Ai2 öppnar nu upp ett konkurrenskraftigt alternativ som vem som helst kan använda, modifiera och bygga vidare på. Det handlar alltså inte bara om en ny modell, utan om att demokratisera den underliggande verktygslådan som avgör vem som ens har möjlighet att träna nästa generations AI. Om öppen infrastruktur som denna vinner mark kan vi om ett par år se en betydligt mer fragmenterad AI-marknad, där universitetsgrupper och medelstora företag faktiskt kan träna frontier-modeller – snarare än att hela branschen konsolideras kring ett fåtal aktörer med hundratals miljoner dollar i beräkningsbudget.