AI-agenter sämre än enkel statistik på att förutspå forskningsidéer

arXiv cs.AI

Forskare testade hur väl stora språkmodeller (LLM) kan förutsäga vilka AI-forskningsområden som kommer att växa – ett konkret sätt att mäta om modellerna verkligen förstår vetenskaplig utveckling. Resultatet är lite pinsamt: alla fyra testade modeller presterade sämre än ett enkelt statistiskt rörligt medelvärde (EWMA) som bara räknar på historiska siffror. Finjustering av Qwen3-4B förbättrade träffsäkerheten något (Spearmans korrelation +0,105), och GPT-4.5 med sökfunktion kom närmast – men ingen modell slog grundläggande trendräkning.