AI-agenter förbättrar vetenskapliga ML-modeller – men mest via standardtricks

arXiv cs.AI

Forskare har testat hur bra dagens AI-agenter är på att förbättra vetenskapliga maskininlärningsmodeller över 20 olika benchmarks inom 11 domäner. Claude Opus presterade bäst med 10,4% genomsnittlig förbättring, men nästan alla vinster kom från vanliga ML-knep snarare än äkta forskningsinsikter. När man lade till enkla tilläggsmoduler för idégenerering och experimenthantering steg Claude Opus till 20,1% – vilket antyder att agenternas största svaghet just nu är förmågan att tänka nytt, inte att koda.