Ny metod låter AI-modeller dra nytta av tidigare konversationer
Forskare har utvecklat en teknik kallad STAIR som hjälper stora språkmodeller att återanvända beräkningar från tidigare frågor i samma konversation – utan att modellen behöver tränas om. Metoden tränar bara 12 288 parametrar (jämfört med miljarder i en vanlig modell) och förbättrar träffsäkerheten på senare frågor med upp till 11,67 procentenheter. Det intressanta är att befintlig konversationshistorik kan både hjälpa och stjälpa modellens prestanda beroende på sammanhang – något STAIR försöker hantera smart.
Djupdykning
LLM:ar (stora språkmodeller som GPT eller Claude) slänger normalt bort det "tänkande" de gjort när de löst ett problem och börjar från noll nästa gång – även om du fortfarande pratar med dem i samma konversation. Det här pappret frågar om det finns ett smartare sätt, och svaret de hittar är ganska elegant: istället för att ignorera tidigare beräkningar kan man spara nycklar och värden från dem (tekniska byggstenar i hur transformermodeller hanterar uppmärksamhet) i en liten fast bank som modellen sedan kan konsultera. Det mest anmärkningsvärda är hur lite det kräver – bara 12 288 tränade parametrar, ungefär som att lägga till en post-it-lapp på en motor som väger ton. Vad de flesta missar i diskussioner om AI-effektivitet är att problemet sällan är råkapacitet, utan hur dåligt nuvarande arkitekturer återanvänder arbete de redan gjort. En elva procentenheter bättre träffsäkerhet på matteuppgifter och liknande benchmarks kan låta modest, men det uppnås utan att röra själva modellen – vilket betyder att tekniken potentiellt kan klistras ovanpå nästan vad som helst som redan finns i produktion.