Ny metod förbättrar AI-videos tidshantering med upp till 20 procentenheter

arXiv cs.AI

Ett vanligt problem med text-till-video-modeller är att de visserligen ritar upp rätt objekt, men i fel ordning eller vid fel tidpunkt – en karaktär dyker upp för tidigt, en händelse sker bakvänt. Forskare föreslår nu ett system kallat Temporal Specification Guidance (TSG) som utan träning vägleder videogenereringen med hjälp av formell tidslogik (ett matematiskt språk för att beskriva 'vad ska hända när'). På ett testset med 220 promptar och 11 kategorier av tidsbegränsningar förbättrades träffsäkerheten med 9,5–20 procentenheter jämfört med standardmetoden, testat över fem olika modeller.