Kan AI-modeller förbättra sin egen kod? Resultaten är nedslående

arXiv cs.AI

Forskare testade om stora språkmodeller (LLMs) kan bygga och förbättra sitt eget 'harness' – det program som styr hur modellen använder verktyg, minne och beslutsfattande – utan mänsklig hjälp. På ARC-AGI-3-benchmarken, där agenter måste utforska okända miljöer och lära sig i farten, gav två revisionsrundor bara 2,80 poängs förbättring i genomsnitt, ett resultat statistiskt skilt från noll. Det intressanta är att modellerna klarar enskilda uppgifter hyfsat bra, men misslyckas med att generalisera sina förbättringar – de lär sig inte riktigt av sina egna misstag.