Hur utvärderar vi AI som forskar? En genomgång av metoder och luckor

arXiv cs.AI

Forskare har kartlagt hur automatiserade forskningssystem – AI som hjälper till med litteraturöversikter, idégenerering, experiment och peer review – faktiskt utvärderas, och funnit att metoderna är spridda och svåra att jämföra. Genomgången täcker sex områden och identifierar ett återkommande problem: utvärderingar mäter sällan både process och slutresultat, vilket gör det svårt att veta vad siffrorna egentligen säger. Praktiskt nog avslutar de med konkreta rekommendationer för hur man bör rapportera och granska AI-forskningsresultat – något som blir allt mer aktuellt när fler laboratorier börjar använda AI i sin forskning.