Genombrott inom AI-träning – ny metod fokuserar på endast 15% av datan
Forskare har utvecklat en banbrytande metod för att träna multimodala AI-modeller som kan både tolka bilder och text. Den nya tekniken, kallad Anchor-Token Reinforcement Learning (AT-RL), fokuserar träningen på endast 15 procent av all information – specifikt de ord som fungerar som ankare mellan visuell och textbaserad data.
Metoden bygger på upptäckten att endast en liten del av orden i AI-modeller har stark koppling mellan bild och text. Dessa nyckelord fungerar som förankringspunkter som hjälper modellen att förstå sammanhanget mellan vad den ser och läser, medan majoriteten av orden följer vanliga språkliga mönster.
Resultaten är imponerande. En 32 miljarder parameter stor modell som tränats med den nya metoden överträffade en betydligt större 72 miljarder parameter modell på det avancerade testet MathVista, med ett resultat på 80,2 procent. Samtidigt krävs endast 1,2 procent extra beräkningskraft.
Parallellt med denna utveckling har forskare också arbetat med andra innovativa träningsmetoder för AI. Ett nytt system för medicinsk AI-träning, Quark Medical Alignment, delar upp träningen i fyra kategorier och använder optimerade metoder för att hantera komplexa medicinska sammanhang.
Andra forskare har utvecklat verktyg för att mäta hur justeringar av AI-modellers värderingar påverkar andra värdesystem, samt metoder för vetenskapligt resonemang där modeller kan förbättra sig själva genom att fungera som både problemlösare och verifierare.
Dessa framsteg representerar en betydande utveckling inom AI-forskningen, där fokus ligger på att göra träning mer effektiv och riktad snarare än att bara använda mer data och beräkningskraft.