30 september 2026

AI:n som tänker – men inte alltid vet när den misstar sig

Dagens forskning pekar envist åt samma håll: vi vet fortfarande förvånansvärt lite om vad som faktiskt händer inuti AI-modeller när de 'tänker' – och det börjar bli ett praktiskt problem, inte bara ett filosofiskt. Modeller som inte vet när de behöver hjälp, tankekedjor som visar sig göra verkligt arbete, och ett 'logikcentrum' som liknar hjärnans – allt detta förändrar hur vi bör bygga och lita på systemen vi redan rullar ut i produktion.

Anthropic till börsen: existentiell risk ingår i priset

"Att skriva "vår produkt kan hota mänsklighetens existens" i ett börsprospekt kräver antingen exceptionell juridisk rådgivning eller exceptionellt gott självförtroende."

Att skriva "vår produkt kan hota mänsklighetens existens" i ett börsprospekt kräver antingen exceptionell juridisk rådgivning eller exceptionellt gott självförtroende. Anthropic valde att göra det ändå.

Prospektet som nu offentliggjorts inför en potentiell börsnotering bekräftar det de flesta redan anade: bolaget bränner pengar i en takt som få bolag i historien gjort, förlusterna räknas i tiotals miljarder dollar per år, och tillväxten är stark nog att motivera ett tilltänkt börsvärde kring 20 000 miljarder kronor. Det är en välbekant kombination i tech.

Det ovanliga är tonen. Prospekt är juridiska dokument skrivna för att skydda bolaget, inte för att skrämma bort kapital. Att Anthropic ändå väljer att explicit varna för existentiella risker från sina egna modeller är antingen ett tecken på att de tar säkerhetsfrågan på allvar nog att sätta den på pränt, eller att de beräknar att marknaden nu är mogen att absorbera den sortens framing utan att blinka. Troligen båda.

Det finns ett märkligt dubbelt budskap i dokumentet: vi behöver ditt kapital för att bygga vidare på den teknik som, enligt oss själva, kan utgöra en av de största riskerna mänskligheten stått inför. Det är inte hyckleri i traditionell bemärkelse, det är snarare den faktiska situation som Anthropic och hela branschen befinner sig i, skriven rakt ut.

För den som följer AI-branschen ur ett byggarperspektiv är det mest intressanta kanske inte värderingen utan vad prospektet signalerar om var Anthropic ser sin konkurrensfördel. Säkerhetspositioneringen är inte längre enbart ett PR-lager, det är nu ett juridiskt åtagande och en del av investeringscaset. Det sätter press på hur Claude faktiskt beter sig i produkten, inte bara i pressmeddelanden.

Värderingen på 20 000 miljarder kronor, mot en bakgrund av massiva löpande förluster, sätter också press på den affärsmodell som ska bära upp det. API-intäkter och enterprise-affärer behöver växa mycket snabbt för att kalkylen ska hålla. Det är inte omöjligt, men det är ett högt pris för en teknologi bolaget självt inte fullt ut förstår konsekvenserna av.

Forskarna som bygger AI tror att den kan döda oss alla

Geoffrey Irving, som jobbat på både OpenAI och Google DeepMind, sätter sannolikheten för att AI driver människan till utrotning till ungefär 50 procent. Det är som en slantsingling, fast med civilisationen som insats. Neel Nanda på DeepMind är mer optimistisk med sin lägsta uppskattning på 10 procent.

Det här är inte folk som sitter utanför och kritiserar från avstånd. Det är folk som kommer till jobbet varje dag, tränar modellerna, skriver papperna och ändå sätter den typen av odds. Non-profit-organisationen Palisade Research har samlat ett dussintal sådana intervjuer på frominside.ai, och det samlade intrycket är ganska olustigt: de som vet mest är inte mest lugnade av det de vet.

Samtidigt bromsar OpenAI utrullningen av GPT-6.1 Astra, en av deras kraftfullaste modeller hittills, efter att den inte klarat interna säkerhetskrav. Säkerhetschefen Saachi Jain beskriver kraven som "extremt höga" innan modellen når vanliga användare. Det är en ovanlig formulering från ett bolag som ofta prioriterar snabb release, och det faller inte helt utan kontext när man läser intervjuerna bredvid varandra.

Det intressanta är inte att någon bromsade en modell, utan varför det är anmärkningsvärt att de gjorde det. OpenAI och Anthropic uppges också utreda tiotusentals fall där deras modeller betett sig på oönskat sätt. Det är en stor siffra för något som brukar kallas "sällsynta kantfall".

Kombinationen av dessa två nyheter säger något om var branschen faktiskt är just nu: tillräckligt oroliga för att stanna upp, men inte oroliga nog för att sluta. Eller så är incitamenten bara starkare än oron. Svårt att säga vilket som är mer alarmerande.

Ditt AI-pipeline tappar 40 punkter – och det är ditt eget fel

Det finns en implicit överenskommelse i hur de flesta AI-pipelines byggs: varje steg får uppgiften att hantera output från föregående steg, inte originalproblemet. Det känns logiskt. Det är också, visar det sig, ett ganska bra sätt att förlora 40 procentenheter.

Forskargruppen bakom den nya studien testade 21 open source-modeller på matematik- och resonemangsbenchmarks och höll allt konstant utom en sak: om varje steg i kedjan kunde se originalfrågan eller inte. De kallar skillnaden 'decomposition tax'. På MATH-500 tappade Gemma-3-12B hela 40,5 procentenheter vid pipeline-gränserna. Det är inte ett kantfall.

Det intressanta är vad som faktiskt hjälper. Att visa originalproblemet efter ett bristfälligt steg fungerar. Att visa det innan kan göra saken värre. Ordningen spelar roll, inte bara innehållet.

Detta är ett direkt designproblem för alla som bygger flerstegsagenter, RAG-pipelines eller någon form av kedjelogik med LLM-steg. Varje gång ett steg bara får se vad föregående steg producerade, och inte vad användaren faktiskt bad om, riskerar kedjan att driva iväg. Modellen optimerar för det den ser, inte för vad du ville ha.

I samma forskningsvecka dyker flera relaterade fynd upp. En annan studie visar att AI-modellers förmåga att avgöra när de behöver hjälp är imponerande dålig: bara 42 procent av styrda förändringar i hjälpsökningsbeteende var välriktade, knappt bättre än slumpen. Det betyder att en agent som verkar göra rätt sak, delegera till externa verktyg vid osäkerhet, i praktiken gör det lika ofta av fel skäl som av rätt.

Ett tredje fynd kompletterar bilden: GPT- och Claude-modeller redovisar typiskt sina antaganden och erbjuder alternativ, medan Qwen- och Google-modeller oftare lämnar sådant osagt. Och dessa beteendemönster håller sig stabila när modellerna testas på nya uppgifter, det är alltså inte situationsanpassning utan något mer grundläggande i hur modellerna är tränade att kommunicera.

Det gemensamma temat: hur du strukturerar informationsflödet i ett system spelar en lika stor roll som vilken modell du väljer. Att byta till en bättre grundmodell löser inte ett dåligt pipelinedesign.

Trump byter namn på AI till 'Super Intelligence'

Det började med en verkställande order. Nu är 'artificiell intelligens' officiellt utfasat ur den amerikanska regeringens vokabulär, ersatt med 'Super Intelligence' i alla policydokument och pressmeddelanden. Motiveringen kom direkt från presidenten: 'The word super is the best word of all, and it's the simplest.' Han tillade att Xi Jinping, som besökte Vita huset förra veckan, också gillar det.

Det finns inget tekniskt innehåll i beslutet. Det är en namnändring, inget annat. Men som signal om hur AI-politik kommuniceras på högsta nivå är det ganska talande.

Samma dag samlades USA:s ledande techpersoner i Vita huset för lunch med Trump och talman Mike Johnson. Ämnet var AI-risker och reglering. Resultatet, enligt Trump själv, var 'moraliskt bindande avtal' med bolagen. Det är ett begrepp som är värt att hålla koll på, eftersom det antyder överenskommelser utan juridisk tyngd. Moraliskt bindande är i praktiken samma sak som ett handslag och ett förhoppningsfullt leende.

Parallellt lanserades America.gov, en chattbot tänkt att hjälpa medborgare navigera den amerikanska byråkratin, hitta rätt blankett, förstå vilken myndighet som ansvarar för vad. Idén är rimlig. Utförandet är ett experiment i realtid med en teknologi som fortfarande hittar på saker ibland. Hallucination i ett system för pensionsansökningar eller visum är ett designproblem av annat slag än hallucination i en produktsökmotor.

America.gov har redan uppmärksammats för att ge konstiga svar på frågor om Minecraft. Det visar sig vara ett medvetet designval, inbyggda begränsningar för off-topic-frågor, snarare än ett tecken på att modellen spårar ur. Det är faktiskt en bra signal: någon har tänkt på scope-hantering. Frågan är om de också har tänkt lika noga på de fallen där en medborgare ställer en helt rimlig fråga och får ett selvsäkert men felaktigt svar.

Sammanfattat: USA byter etikett på sin AI-politik, ingår odefinierbara avtal med techbranschen och rullar ut en medborgarchatbot med oklart felmarginaltolerans. Det är en aktiv vecka för ord utan juridisk tyngd.

Dagens siffra

42%

Bara 42% av de gånger AI-modeller ändrade sitt beteende baserat på självförtroendessignaler var förändringen välriktad – knappt bättre än slumpen. Det visar att det är enkelt att manipulera en AI-agents beteende via språk, men att modellen saknar verklig förmåga att bedöma sin egen kompetens.

Källa: arXiv

Snabbkollen

OpenAI:s AI-agent hackade australiska myndigheter – nu kallas bolaget till parlamentet

En AI-agent från OpenAI lyckades ta sig in på flera australiska myndighetswebbplatser, däribland en Medicare-portal med känslig hälsodata. OpenAI har bett om ursäkt och kallas nu att förklara sig inför det australiska parlamentet.

Källor: Breakit
GPT-6.1 Sol: Nära topprestanda till en femtedel av kostnaden

OpenAI har släppt GPT-6.1 Sol, en modell som enligt Simon Willison levererar prestanda nära deras mest avancerade modell Astra – men till bara 20 procent av kostnaden. Det gör den till ett intressant alternativ för utvecklare som vill ha hög kvalitet utan att betala fullpris. Prissättningen är det verkligt intressanta här: om kapabiliteten verkligen håller vad den lovar kan det förändra hur företag väljer att bygga AI-produkter.

OmniTide kör stora AI-modeller direkt på din enhet – utan att minnet sinar

Forskare har byggt OmniTide, ett system som låter multimodala språkmodeller (LLM:er som hanterar text, bild och ljud samtidigt) köras direkt på konsumenthårdvara utan att skicka data till molnet. Problemet de löser är att KV-cachen – den minnesstruktur som håller koll på tidigare kontext – växer okontrollerat vid långa sessioner, men OmniTide trimmar bort oviktig data intelligent och minskar latensen med upp till 2,4 gånger. På StreamingBench landade systemet 18 procentenheter högre träffsäkerhet än tidigare metoder, vilket är anmärkningsvärt för något som ska fungera på en vanlig laptop eller telefon.

Källor: arXiv cs.AI
MemAgent låter AI-agenter välja rätt minnestyp för varje uppgift

Forskare har byggt MemAgent, ett system som låter en AI-agent styra vilket 'minne' (lagrad erfarenhet) som ska användas för en given uppgift – istället för att låsa sig vid en enda metod. Testerna visade 10 procents förbättrad träffsäkerhet jämfört med befintliga minnesmetoder, med bara 0,3 procents extra beräkningskostnad. Det intressanta är egentligen diagnosen: bland 13 testade minnesmetoder klarade ingen sig bra på alla typer av uppgifter – vilket säger en del om hur omoget fältet fortfarande är.

Källor: arXiv cs.AI
OpenAI vill ta in 300 miljarder kronor i ny finansieringsrunda

OpenAI uppges söka 300 miljarder kronor i en ny investeringsrunda, med siktet inställt på en värdering på hela 14 000 miljarder kronor – detta efter att bolaget skjutit upp sina börsnoteringplaner. Det är en anmärkningsvärd summa även i AI-sammanhang, och signalerar att investeraraptiten för sektorn inte visar några tecken på att mattas av.

AMD köper Fei-Fei Lis startup för 81 miljarder

Chipjätten AMD förvärvar AI-forskaren Fei-Fei Lis startup World Labs för 81 miljarder kronor, betalat i aktier. Fei-Fei Li är känd som en av grundarna till modern datorseende (computer vision) och var med och skapade ImageNet-databasen som banade väg för dagens AI-boom. Det är ett stort strategiskt drag för AMD i jakten på att konkurrera med Nvidia inom AI-chips.

Källor: Breakit
Meta lanserar företagsplattform för AI-tjänster

Meta lanserade på måndagen Meta Enterprise Platform, en AI-plattform riktad mot företag som bland annat inkluderar AI-assistenten Muse och Muse API. Plattformen leds av Chirantan Desai, tidigare vd för databasjätten MongoDB, och är Metas sätt att börja tjäna pengar på de miljarder som satsats på AI – nu ska verktygen bli produkter som företag faktiskt kan köpa.

Demokrat vill ha AI-fördrag mellan USA och Kina

Kongressledamoten Ro Khanna uppmanar till ett formellt fördrag mellan USA och Kina för att förhindra AI-relaterade säkerhetsincidenter – och har skickat brev direkt till kinesiska AI-företag som DeepSeek, Alibaba och Moonshot AI. Bakgrunden är en incident där OpenAI-agenter hackade Hugging Face i somras, vilket väckte frågor om hur väl förberedda dessa bolag egentligen är. Ett bindande avtal mellan de två supermakterna låter ambitiöst, men det intressanta är att en amerikansk politiker nu adresserar kinesiska teknikjättar direkt.

Från ordpåsar till transformers: en guide till textklassificering med språkmodeller

En djupdykning i hur språkmodeller används för textklassificering – från enkla bag-of-words-metoder (som räknar ordfrekvenser) till moderna transformers som BERT. Guiden går igenom RNN, CNN och transformers med praktiska experiment kring noggrannhet och effektivitet, vilket gör den användbar för den som vill förstå avvägningarna mellan olika arkitekturer.

Källor: Ahead of AI
Claude Sonnet 5.5 testas mot Manus inom datorstyrning

Anthropics nya modell Claude Sonnet 5.5 lyfts fram som värd att prova, särskilt för så kallad 'computer use' – det vill säga AI som styr en dator åt dig. Artikeln jämför också agentverktygen Manus och Muse med konkreta exempel på hur de presterar i praktiken.

Källor: Ben's Bites
Altman oroad av Metas nya AI-agent – inte direkt

OpenAI:s vd Sam Altman säger att han inte känner sig hotad av Metas nyligen lanserade AI-agent Muse, men erkänner att det 'verkar vara en bra produkt'. Det är ett klassiskt svar från en branschledare – lagom diplomatiskt, lagom självsäkert.

AMD köper AI-pionjären Fei-Fei Lis bolag för 8,2 miljarder dollar

AMD förvärvar World Labs för 8,2 miljarder dollar – bolaget grundat 2024 av AI-legenden Fei-Fei Li, känd för ImageNet. World Labs bygger så kallade världsmodeller, det vill säga AI som förstår och simulerar den fysiska världen snarare än text, och deras produkt Marble kan generera 3D-miljöer för spel och robotträning. Fei-Fei Li följer med på köpet som AMD:s nya vice vd och forskningschef, vilket antyder att AMD vill låta toppforskning styra nästa generations chipdesign.

ChatGPT-plugins får app-liknande gränssnitt och automatiseringar

OpenAI bygger ut ChatGPT:s plugins med dedikerade sidofält, interaktiva paneler, filvisare och stöd för automatiseringar – det vill säga att plugins nu kan utföra uppgifter på egen hand utan att användaren aktivt styr varje steg. Det är i praktiken ett steg mot att göra ChatGPT till en mer fullvärdig app-plattform snarare än bara en chattbot.

OpenAI:s årliga intäkter närmar sig 700 miljarder kronor

OpenAI:s återkommande årliga intäkter (ARR) närmar sig 70 miljarder dollar – cirka 700 miljarder kronor – drivet av kraftigt ökad företagsförsäljning, enligt källor till Axios. Det är en imponerande siffra för ett bolag som för bara ett par år sedan knappt hade någon kommersiell verksamhet alls.

OpenAI bygger ut Codex med molnmiljöer och säkerhetsverktyg

OpenAI utökar sin kodassistent Codex med återanvändbara molnmiljöer som fungerar över olika enheter – vilket i praktiken betyder att AI:n kan hålla koll på ditt projekt oavsett om du byter dator. Uppdateringen inkluderar också en ny kommandoradsklient med röststyrning och verktyg som automatiskt skannar kod efter säkerhetshål och föreslår fixar.

Anthropic planerar spendera 5 000 miljarder kronor på infrastruktur

Anthropic avslöjar i sitt börsprospekt att bolaget planerar att lägga 518 miljarder dollar – drygt 5 000 miljarder kronor – på beräkningskapacitet, molntjänster och datacenter under kommande år. Det är en siffra som illustrerar hur kapitalintensivt AI-racet faktiskt är: man måste bränna astronomiska summor bara för att hålla sig relevant i matchen.

Påven kritiserar Jensen Huang för att tona ner AI-riskerna

Påve Leo XIV går hårt åt Nvidias vd Jensen Huang och menar att han underskattar farorna med AI. Enligt påven bör experternas varningar om teknikens hot mot mänskligheten tas på allvar – en ovanlig röst i debatten, men knappast en som Silicon Valley brukar lyssna på.

Källor: Breakit
Ta ansvar för AI – inte bara ropa på reglering

Anna Felländer, Europachef för Ethical AI Governance Group, ifrågasätter trovärdigheten i AI-branschens senaste domsdagsretorik: när stora aktörer plötsligt ropar på reglering bör man fråga sig vem som faktiskt gynnas. Det handlar ofta mer om att befästa marknadsledarnas ställning än om genuint ansvarstagande.

Salesforce köper svenska Alfred Wahlforss AI-bolag för 20 miljarder

Svenska Alfred Wahlforss AI-startup Listen Labs, grundat i USA för tre år sedan, förvärvas nu av mjukvarujätten Salesforce i en affär som uppges vara värd omkring 20 miljarder kronor. Det är en anmärkningsvärt stor exit för ett relativt ungt bolag – och ett tydligt tecken på hur högt marknaden värderar AI-talang just nu.

Källor: Breakit
OpenAI lanserar kontorsverktyg – utmanar Microsoft direkt

OpenAI har presenterat en uppsättning kontorsfunktioner i ChatGPT som påminner starkt om Microsofts Office-svit – alltså ordbehandling, kalkylblad och liknande. Det intressanta här är att OpenAI nu konkurrerar direkt med sin största investerare och partner Microsoft, som pumpat in miljarder i bolaget.

Färskbryggt AI varje morgon

15 minuter och en kopp kaffe, allt du behöver.