Företag driftsätter AI-agenter de inte litar på
En undersökning bland 157 företag visar att hälften redan har driftsatt en AI-agent som klarat interna tester men sedan misslyckats mot verkliga kunder – och ändå planerar två tredjedelar att låta agenter köras helt utan mänsklig granskning inom ett år. Bara 5 procent litar fullt ut på automatiserad utvärdering, och det vanligaste testverktyget är... ingenting alls. Det intressanta är inte att företagen har dåliga verktyg – det är att de vet om det och kör ändå.
Djupdykning
Hälften av alla företag i studien har redan skickat ut en AI-agent som klarade alla interna tester – och sedan kraschade live hos en riktig kund. Det låter som ett problem med dåliga tester, men det är egentligen något subtilare: testerna mäter fel saker. En "eval" (kortform för evaluation, alltså ett automatiserat testpaket som körs mot en AI-modell innan driftsättning) kan vara tekniskt korrekt men ändå totalt misslyckas med att fånga om agenten faktiskt löser kundens problem i kaotiska, oförutsägbara verkliga situationer. Det som de flesta missar är att branschen har rört sig bakvänt – autonomin har skalats upp snabbare än förtroendet för de system som ska kontrollera den. Två tredjedelar av företagen bygger just nu pipelines där en agent kan gå direkt till produktion utan att en människa granskar beslutet, samtidigt som bara 5% litar fullt ut på de automatiserade testerna. Det är ungefär som att ta bort säkerhetsbesiktningen på bilar samtidigt som man börjar tillåta självkörning på motorväg. Den underliggande strukturella svagheten är att det vanligaste "testverktyget" bland dessa företag är... ingenting alls, eller bara de inbyggda testfunktioner som kommer med modellen från leverantören. Med tanke på att dessa leverantörer har ett kommersiellt intresse av att du deployar mer, inte mindre, är det en ganska bekväm intressekonflikt att blunda för.