EU-projekt anpassar AI-språkmodeller för humaniora och samhällsvetenskap
Inom EU-projektet LLMs4EU testas hur stora språkmodeller kan anpassas för forskning inom humaniora och samhällsvetenskap – ett område som ställer särskilda krav på flerspråkighet och disciplinär bredd. Projektet utvärderar modellerna på fyra parametrar: informationsåtervinning, sammanfattning, spårbarhet och hallucinationsdetektering (om modellen hittar på fakta), med hjälp av både automatiska tester och en panel av Digital Humanities-experter. Det intressanta är att man bygger in juridisk och etisk efterlevnad direkt i infrastrukturen – ett tecken på att reglering börjar påverka hur AI-verktyg faktiskt designas inom akademin.
Djupdykning
Forskning inom humaniora och samhällsvetenskap har länge haft ett ansträngt förhållande till AI-verktyg – inte för att forskarna är teknikfientliga, utan för att de flesta språkmodeller är tränade överväldigande på engelskspråkigt material och utgår från naturvetenskapliga publiceringslogiker där en artikel är en artikel. Det här projektet, LLMs4EU, försöker bygga om den grunden genom att kombinera kunskapsgrafer (strukturerade databaser över hur begrepp och entiteter hänger ihop) med flerspråkiga vetenskapliga källor, så att modellen faktiskt förstår att en fransk sociologiavhandling från 1987 och en svensk kulturhistorisk antologi kan vara lika relevanta som en Nature-artikel. Det som verkligen skiljer det här arbetet från de flesta AI-i-akademin-projekt är att de bygger in juridisk och etisk compliance från start, inte som ett efterhandstillägg, utan som en del av infrastrukturen – vilket är ovanligt nog att det förtjänar att noteras. Utvärderingen inkluderar också ett expertpanel av Digital Humanities-forskare som granskar kvalitativt, vilket är ett sätt att hantera det faktum att "korrekt svar" inom humaniora ofta är en förhandlingsfråga, inte ett faktum man kan mäta mot en facit. Det de flesta missar i debatten om AI och forskning är att problemet sällan är att modellen hallucinerar rena fakta – det är att den konsekvent tenderar att osynliggöra icke-anglofon vetenskap, och det är ett kunskapspolitiskt problem lika mycket som ett tekniskt.