SonarLLM: En AI-modell som ser under vattnet när kameran ger upp

arXiv cs.AI

Forskare har byggt SonarLLM, en multimodal AI-modell som kombinerar sonar och optiska kameror för undervattensnavigering – vilket är knepigt eftersom sonar och kamerabild är väldigt olika typer av data. Modellen når 72% träffsäkerhet på sonar-baserad igenkänning och räkning, vilket är 34 procentenheter bättre än närmaste konkurrent. Det intressanta är att fördelen med att kombinera sonar och kamera ökar ju grumligare vattnet blir – från 6 till 36 procentenheter – vilket visar att sonar är som mest värdefullt just när kameran kämpar.