Öppen träningsmodell för sydasia tränad på 2,8 biljoner tokens
Forskare har tränat en stor språkmodell specifikt för indiska språk med hela 2,8 biljoner tokens (textenheter) – och publicerar nu hela datapipelinen som öppen källkod. Det intressanta här är inte bara modellen i sig, utan att man delar med sig av hur man byggde träningsdatan, vilket gör det möjligt för andra att göra detsamma för andra underrepresenterade språk.
Djupdykning
Tre forskare vid AI4Bharat har tränat en språkmodell på 2,8 biljoner tokens av sydaskiatiskt språkdata – det vill säga den textmängd modellen "läst" för att lära sig hur dessa språk fungerar, ungefär som att stoppa in hela internet fast på hindi, tamil och 20 andra indiska språk. Det som skiljer projektet från liknande initiativ är att de också släpper hela pipeline:n öppen källkod, alltså hela kedjan av verktyg för hur man samlar in, filtrerar och bearbetar rådata till träningsbart material. De flesta AI-modeller som hanterar indiska språk idag är antingen proprietära (låsta bakom företagsmurar) eller tränades på data dominerad av engelska med lite hindi inblandat, vilket gör dem dåliga på att förstå grammatiska strukturer och kulturella nyanser i exempelvis telugu eller bengali. Det som de flesta missar i rapporteringen kring detta är att öppenheten kring datapipelinen ofta är viktigare än modellen själv – det är som att ge folk fiskestånga istället för fisk, och låter forskargrupper i regionen bygga vidare utan att börja från noll varje gång. Med Indiens 500 miljoner internetanvändare som primärt kommunicerar på andra språk än engelska sätter det här projektet press på de stora västerländska AI-bolagen att faktiskt prioritera språklig bredd, snarare än att klaga på att "datan inte finns" – för nu finns den.