Ny AI-modell lär sig förstå fysikens regler via ljud, bild och text

arXiv cs.AI

Forskare presenterar OmniFysics-Nano-V2, en kompakt multimodal AI-modell (alltså en som hanterar flera typer av indata simultaneously) tränad att förstå fysikaliska samband – som hur objekt rör sig, låter och interagerar – snarare än bara att beskriva vad den ser. Modellen hanterar bild, video, ljud, tal och text i ett gemensamt resonemangssystem och slår toppresultat på 17 av 21 standardtester mot jämförbara modeller. Det intressanta är egentligen problemformuleringen: att lägga till fler modaliteter räcker inte om träningsdatan inte explicit kopplar observationer till fysikaliska orsak-verkan-samband.