Nytt träningsramverk låter AI kombinera bild, ljud och text – utan att ha sett dem tillsammans

arXiv cs.AI

Forskare presenterar MSP (Modality Self-Play), en metod för att träna multimodala AI-modeller utan den dyra och svårskalade processen att samla ihop parade dataset med exempelvis bild+ljud. Istället genererar modellen textbeskrivningar som fungerar som semantiska broar mellan modaliteter den aldrig tränat på tillsammans – och klarar ändå att kombinera dem vid inferens (när modellen faktiskt används). Resultaten matchar eller slår toppmodeller på flera standardbenchmarks, vilket antyder att textankare kan räcka långt som substitut för riktigt pardata.