Forskare tränar transformer att fungera som universell dator

arXiv cs.AI

Forskare har lyckats träna en liten transformer-modell att köra program i MicroPy, ett förenklat men beräkningsmässigt komplett programmeringsspråk. Modellen lärde sig att exekvera kod steg för steg och kunde efter träning på slumpmässiga program generalisera till riktiga algoritmer som binär addition och SAT-lösning. Resultatet visar att standardtransformers i teorin kan fungera som universella datorer.