Brittisk AI-agent ska kunna replikera vetenskapliga studier bättre än GPT-4 och Claude
Det brittiska AI-labbet Inherent – grundat av tidigare DeepMind-forskare – har lanserat agenten Faraday, som enligt egna tester slår Anthropic och OpenAI på att återskapa resultat från vetenskapliga artiklar. Förmågan att replikera forskning (alltså bekräfta att ett experiments resultat går att upprepa) är ett kroniskt problem inom akademin, så om det stämmer är det faktiskt intressant – men notera att siffrorna kommer från Inherent själva.
Djupdykning
Inherent, ett brittiskt AI-sällskap grundat av folk som lämnat DeepMind, har lanserat en agent kallad Faraday som är tränad specifikt på att replikera vetenskapliga studier – alltså ta en publicerad artikel och återskapa dess experiment och resultat från grunden. Det låter kanske torrt, men replikering är faktiskt en av vetenskapens mest underskattade flaskhalsar: uppskattningsvis går hälften av alla vetenskapliga resultat inte att reproducera, vilket kostar miljarder i förlorad forskningstid varje år. Faraday sägs ha slagit både Anthropic och OpenAI:s modeller på just det här, vilket antyder att specialisering slår generalitet när det gäller konkreta vetenskapliga uppgifter. Det de flesta missar i det här nyhetscykeln är att detta inte primärt handlar om att automatisera forskning – det handlar om att bygga ett kvalitetskontrollsystem för vetenskap i realtid, något som peer review-processen (den traditionella granskningen av forskning) aldrig riktigt lyckats med i skala. Om agenter som Faraday kan flagga irreproducerbara resultat innan de cementeras i akademisk kanon kan det förändra hur snabbt felaktig forskning sprider sig och vilka studier som faktiskt får ligga till grund för policy och produktutveckling.