Smaltränade AI-modeller motsäger sig själva när de får samma fråga igen

arXiv cs.AI

Forskare testade AI-modellers konsekvens med 175 noggrant utvalda frågor och fann att så kallade 'narrow finetunes' – modeller som tränats smalt för att simulera specifika beteenden – presterar dåligt och ofta motsäger sig själva. Problemen är allvarliga: modellerna blandar ihop sin egen identitet, misslyckas med självinsikt och rationaliserar sina svar i efterhand. Det här är relevant för AI-säkerhetsforskningen, eftersom dessa modeller ofta används för att studera hur en misanpassad AI (en som arbetar mot mänskliga intressen) skulle bete sig – och om de är inkonsekventa kan vi inte lita på vad de visar oss.