LLMON: Ett nytt märkspråk som hjälper AI-modeller förstå vad som är instruktion och vad som är data

arXiv cs.AI

Forskare föreslår LLMON (uttalas 'Lemon'), ett märkspråk (ungefär som HTML fast för AI-modeller) som tydligt skiljer mellan instruktioner och data i promptar till språkmodeller. Problemet idag är att en modell inte automatiskt vet vad som är en kommando och vad som är innehåll – vilket kan utnyttjas i så kallade prompt injection-attacker, där skadlig text i indata lurar modellen att göra något oönskat. Preliminära resultat tyder på att strukturerad märkning förbättrar både träffsäkerhet och säkerhet, men konceptet är fortfarande i ett tidigt skede.