AI-hallucination nästan utlöste amerikansk militäroperation
En AI-hallucination – när en språkmodell hittar på fakta som låter trovärdiga men är helt fel – höll på att trigga igång en amerikansk militäroperation, enligt en ny rapport. Det är ett konkret exempel på riskerna med att integrera LLM-verktyg i beslutsprocesser med höga insatser. En forskare vid GovAI varnar: militär personal måste förstå att dessa modeller är osäkra till sin natur.
Djupdykning
En AI-hallucination är när en språkmodell hittar på fakta som låter trovärdiga men är helt påhittade – som en konfident lögnare som aldrig tvekar. Enligt rapporten använde militärpersonal ett AI-verktyg som genererade felaktig underrättelseinformation, vilket nästan ledde till att en militär operation sattes igång baserat på data som helt enkelt inte existerade i verkligheten. Det här är inte ett isolerat fall av någon som fick fel resväder – det handlar om att beslutskedjan i en av världens mäktigaste militärer hade ett fabricerat AI-svar som input utan tillräckliga kontrollmekanismer. Det de flesta missar i debatten om AI och försvar är att problemet sällan är tekniken i sig, utan hur snabbt institutioner adopterar den utan att bygga upp en kultur av källkritik kring den. Militären är van vid att hantera osäker information – det finns hela doktrinärer kring det – men LLM:er (stora språkmodeller) är en ny typ av osäkerhet som ser ut som säkerhet. De levererar aldrig ett svar med "kanske" i tonen, och det är precis vad som gör dem farliga i högsatsmiljöer. När en analytiker är stressad och tidsbelastad är ett auktoritativt-klingande AI-svar svårt att ifrågasätta.