Nytt riktmärke testar om AI kan analysera råa radiosignaler

arXiv cs.AI

Forskare har tagit fram EMRB, ett riktmärke (benchmark) med 200 uppgifter för att testa om stora språkmodeller kan analysera råa elektromagnetiska signaler genom att skriva och köra kod. Resultaten spänner från 24 till 79 procent, och snittet rasar från 85 procent på enkla mätuppgifter till 21 procent på systemdesignfrågor – ett tydligt tecken på att modellerna fortfarande har svårt med komplex teknisk analys. En ny metod kallad ReconPilot, som delar upp arbetet i signalspaning, analys och självkontroll, förbättrade resultaten med 4–18 procentenheter beroende på modell.