Neurala nätverk delar hemlig geometri – även när de tränas helt oberoende

arXiv cs.AI

En ny avhandling visar att olika AI-modeller, trots att de tränas separat med olika arkitekturer och slumpmässiga startvärden, verkar utveckla liknande underliggande geometrisk struktur för att representera betydelse. Genom att hitta semantiska motsvarigheter mellan modeller går det att översätta direkt mellan dem utan ny träning – något forskarna kallar 'zero-shot stitching'. Intressant nog gäller principen även mänskliga hjärnor: fMRI-data visar att olika personers hjärnaktivitet, när de processar samma saker, går att aligna geometriskt på samma sätt.