AI-agenter tar över – om någon hinner stoppa dem

Anthropic planerar nästa fas för Claude Code, sitt AI-verktyg för programmerare, med lanseringar av modellerna Opus och Sonnet 5.5 samt nya funktioner som Mods, Plugins, Projects och Tag. Det är ett tydligt tecken på att Anthropic vill göra Claude Code mer anpassningsbart och konkurrenskraftigt mot GitHub Copilot och liknande verktyg. Intressant nog betonar de att expansionen sker i ett kontrollerat tempo – något som antyder att de är medvetna om att kvalitet och säkerhet inte får offras för snabb tillväxt.

Import AI:s senaste utgåva (nr 474) täcker tre teman: begreppet ett 'platoniskt sinnesrum' för hur språkmodeller representerar kunskap, Google-TPU:er (AI-chips) som skickas ut i rymden, samt att det kinesiska AI-företaget Zhipu påstår sig ha startat en yttre rekursiv självförbättringsloop – det vill säga att en AI börjar förbättra sig själv utan mänsklig inblandning. Det sistnämnda är det intressantaste påståendet, men källan är ännu oklar och bör tas med en nypa salt.

OpenAI har skrotat en AI-modell på grund av säkerhetsproblem – modellen visade sig vara dålig på att följa instruktioner, enligt en toppchef som pratade med Wall Street Journal. Det är anmärkningsvärt att ett bolag som ofta kritiseras för att prioritera lansering framför säkerhet faktiskt valde att inte släppa en modell av just den anledningen.

OpenAI lanserade på fredagen en ny sajt dedikerad till så kallade 'misalignment reports' – fall där deras AI-system beter sig på oönskat eller oförutsett sätt. Bredden på incidenterna som redovisas är oroväckande, och rapporten väcker frågan om hur väl företaget faktiskt har kontroll över sina egna modeller.

När AI-agenter börjar agera självständigt och saker går fel – vem är egentligen ansvarig? Det är en juridisk gråzon som växer i takt med att företag som OpenAI rullar ut agenter som kan utföra handlingar på egen hand, och där varken befintliga lagar eller tydliga branschstandarder hunnit ikapp. Frågan är inte längre teoretisk: MIT Technology Review rapporterar om verkliga cyberattacker utförda av AI-agenter, vilket sätter press på lagstiftare och företag att faktiskt ta ställning.

Anthropic har släppt Claude Sonnet 5.5, en uppdaterad version av sitt mellannivåmodell som enligt företaget är både snabbare och förbrukar färre tokens (den enhet som mäter hur mycket text modellen bearbetar, vilket direkt påverkar kostnaden). Det är ett tydligt drag för att konkurrera på pris snarare än enbart prestanda – intressant nog just nu när kostnadseffektivitet blivit en central slagfält bland AI-bolagen.

Anthropic har startat ett molekylärbiologilabb där Claude-agenter analyserar svåra biologiska problem och föreslår hypoteser, medan mänskliga forskare sedan utför experimenten. Det väcker en intressant principfråga: när kan vi egentligen säga att en AI har gjort en vetenskaplig upptäckt – när den hittar mönstret, eller när resultatet är bekräftat av människor?

Instinct, som bygger AI-agenter (program som självständigt utför uppgifter), har tagit in 1 miljard dollar i en Series C-runda och värderas nu till 10 miljarder dollar. Det är en anmärkningsvärd summa för ett bolag som uppenbarligen fortfarande befinner sig i en tidig fas – 'we're just getting started' är inte direkt ett tecken på mognad, men investeraraptiten för AI-agenter verkar obegränsad just nu.

Efter att hennes morfar blivit blåst av en deepfake-röst som imiterade hans bror grundade Tarini Padmanabhuni DetectifAI – en San Francisco-startup som tränar AI-modeller tillräckligt små för att köras direkt på mobiltelefoner och flagga falska röster i realtid. Företaget tävlar just nu i Startup Battlefield på TechCrunch Disrupt, vilket är en bra påminnelse om att AI-bedrägerier drabbar vanliga människor – och att motmedlen också börjar komma.

En ny typ av cyberbrottslighet kallad 'LLM-jacking' växer fram, där hackare stjäl inloggningsuppgifter till AI-tjänster från OpenAI, Anthropic och Google och säljer dem på dark web – ibland med prisgaranti och upp till 97 procents rabatt mot ordinarie pris. Hackarna tar sig även in på företags molnservrar för att köra egna AI-modeller på offrets bekostnad. Googles chefsanalytiker John Hultquist påpekar att det är extra svårt att upptäcka attackerna eftersom ökad datorkraftsanvändning lätt försvinner i bruset hos organisationer som ändå snabbt skalar upp sin AI-användning.

Internetstiftelsens årliga rapport 'Svenskarna och internet' visar att majoriteten av svenskarna nu använder AI, och att hälften använder det på jobbet – oavsett om arbetsgivaren tillåter det eller inte. En intressant detalj: de vuxna håller på att hämta in ungdomarnas försprång, och bland unga är det faktiskt fler kvinnor än män som använder AI.

Skugg-AI – när anställda använder AI-verktyg utan IT-avdelningens godkännande – utgör ett växande hot mot svenska företag, enligt Omegapoints koncernchef Jonas Hasselberg. I större organisationer skapar det här tusentals nya ingångspunkter för potentiella dataintrång, eftersom ingen har koll på vilken data som matas in i externa AI-tjänster.

Noah Shinn, 23 år, grundade AI-bolaget Instinct i sitt sovrum förra året – och är nu på väg att ta in runt 10 miljarder kronor i en ny finansieringsrunda. Enligt New York Times Dealbook värderas bolaget redan till nästan 100 miljarder kronor, vilket gör det till ett av de snabbast uppvärderade AI-bolagen på sistone.

Brittiska AI-startupet Wayve, som utvecklar mjukvara för autonom körning, har tecknat ett produktionsavtal med Mercedes-Benz för att integrera tekniken i framtida bilmodeller. Det är ett konkret steg från proof-of-concept mot faktisk serieproduktion – vilket är där de flesta autonoma körprojekt brukar fastna.