Forskare utvecklar ramverk för att minska AI-hallucinationer inom säkerhetshantering
Forskare har utvecklat ett ramverk som använder stora språkmodeller för säkerhetshantering samtidigt som det kontrollerar AI-hallucinationer genom konsistenskontroller och extern feedback. Experimentella tester visar att metoden kan minska återställningstider med upp till 30% jämfört med befintliga språkmodeller när den tillämpas på incidenthantering.
Djupdykning
Forskare har utvecklat ett nytt ramverk för att minska AI-hallucineringar inom cybersäkerhet, särskilt för incidenthantering där felaktig information kan få katastrofala konsekvenser. Genom att integrera språkmodeller i en iterativ loop som kontrollerar föreslagna åtgärder mot systemkrav och framtidsprediktioner, kan forskarna justera risken för felaktiga rekommendationer genom att ställa in en konsistens-tröskel. När systemet upptäcker låg konsistens avstår det från att föreslå åtgärder och samlar istället extern feedback, exempelvis genom att testa åtgärderna i en digital tvilling av systemet. Resultaten visar imponerande förbättringar med upp till 30% snabbare återställningstider jämfört med traditionella språkmodeller, vilket är betydande för organisationer som hanterar kritiska IT-säkerhetsincidenter. Nyckelinsikt: Detta ramverk kan vara avgörande för att göra AI-assisterad säkerhetshantering tillförlitlig nog för verklig användning i kritiska miljöer.