Amazons forskare prisas för att ha förklarat varför vanliga ML-metoder fungerar
Amazon-forskaren Hamed Karimi och hans medförfattare har tilldelats ECML PKDD Test-of-Time Award för ett arbete som förklarar varför ofta använda optimeringsmetoder inom maskininlärning faktiskt fungerar. Nyckeln visade sig vara ett matematiskt villkor från 1963 som länge förbisetts. Det intressanta är att fältet i decennier använt metoderna utan att riktigt förstå varför – nu finns svaret.
Djupdykning
Hamed Karimi på Amazon fick nyligen ECML PKDD Test-of-Time Award – ett pris som ges till forskning som visat sig ha bestående betydelse för området – tillsammans med sina medförfattare för ett paper som egentligen handlar om ett matematiskt villkor från 1963. Villkoret kallas Polyak-Łojasiewicz-olikheten, och det beskriver hur "brant" en matematisk funktion lutar nära sitt minimum, vilket i praktiken avgör hur snabbt en optimeringsalgoritm hittar rätt svar. Det flesta inom ML har i decennier använt metoder som gradient descent – tänk dig att du rullar en boll nerför ett landskap för att hitta den lägsta punkten – utan att riktigt förstå varför de fungerar så pålitligt även i situationer där teorin säger att de borde fastna. Karimis forskning visade att svaret låg gömt i ett 60 år gammalt theorem som ingen tagit på tillräckligt stort allvar. Det de flesta missar här är att det inte handlar om en ny uppfinning, utan om att rätta till vår förståelse av verktyg vi redan använder varje dag. Djupinlärningsmodeller tränas med just de här optimeringsmetoderna, och om grundantagandena om varför de fungerar är fel kan det ge oväntade fel i produktionssystem – vilket i förlängningen påverkar allt från rekommendationsalgoritmer till medicinska diagnosverktyg.