文章MARIS: Marine Open-Vocabulary Instance Segmentation with Geometric Enhancement and Semantic Alignment代码https://github.com/LiBingyu01/MARIS单位中国电信人工智能研究院、中国科学技术大学、复旦大学、西北工业大学一、问题背景当前水下实例分割技术的发展正面临着三大核心难题成为制约其落地应用的关键数据资源匮乏且标注粗糙现有水下数据集标注类别不足20类还存在分类笼统的问题比如将蓝鹦嘴鱼、双斑栉齿刺尾鱼等不同鱼种简单归为“鱼”类缺乏细粒度标注无法支撑模型对新物种的识别学习水下视觉退化严重水体介质会导致图像出现颜色衰减、对比度低、光线散射等问题部分海洋生物与周边环境视觉融合物体还可能因水体浑浊、光照不佳出现遮挡靠外观特征识别的可靠性大幅降低语义对齐存在偏差现有视觉语言模型多基于陆地数据训练缺乏水下领域专属的语义定义无法精准捕捉水下场景的细粒度语义信息面对水下物体易出现识别模糊、分类错误的情况。同时传统水下分割模型还受限于闭词汇预测只能识别训练过的类别面对海洋中多样的未见过物种泛化能力严重不足难以适配新型海洋勘探场景。二、方法创新为解决上述问题研究团队从构建专属基准数据集和设计针对性模型框架两大维度出发提出了创新解决方案核心亮点有三1. 打造首个水下开放词汇实例分割基准——MARIS团队整合多个水下数据集并重新精细标注构建了包含1.6万余张水下图像的MARIS数据集涵盖9个超类、158个细粒度子类仅“鱼”超类就细化出76种不同鱼种。数据集为每个物体提供像素级精确实例掩码标注覆盖海洋生物、人造物体、海底基质、海洋垃圾等多类对象首次为水下开放词汇实例分割提供了大规模、细粒度的评测基准解决了数据稀缺和标注粗糙的问题。2. 几何先验增强模块GPEM靠“骨架”识别抗视觉退化针对水下视觉特征不稳定的问题团队发现水下物体的几何结构如鱼的身形和鱼鳍结构、珊瑚的生长形态受视觉退化影响极小是稳定的识别线索。GPEM模块通过深度编码器提取多尺度几何特征与CLIP视觉编码器的视觉特征进行自适应融合还引入轻量级Q-Former搭建视觉与语义的桥梁让模型重点捕捉物体的结构特征即使图像模糊、颜色衰减也能保持对物体的识别一致性。3. 语义对齐注入机制SAIM补“水下知识”消语义歧义为解决陆地模型的水下语义理解短板SAIM模块从两方面优化语义对齐一是设计五大维度的水下专属文本提示词涵盖环境背景、水体能见度、光照条件、深度线索、场景交互让文本嵌入更贴合水下视觉特征二是提出自适应模板选择策略计算视觉特征与文本模板的相似度筛选出最匹配的Top-K模板同时融合几何全局先验丰富类别表征有效缓解了水下类别识别的语义歧义提升了对未见过类别的识别能力。两大模块相辅相成从几何结构和语义理解两个角度分别解决了水下视觉退化和语义对齐的核心问题形成了统一的水下开放词汇实例分割框架。三、实验结果研究团队在同域MARIS训练集训练MARIS验证集测试和跨域COCO陆地数据集训练MARIS验证集测试两种设置下开展了大量实验对比了OVSeg、ODISE、MAFT等主流开放词汇分割方法结果显示新框架性能表现亮眼同域测试大幅领先基于ConvNeXt-B骨干网络模型在相交类别取得52.68 mAP开放词汇类别取得39.77 mAP较第二名分别提升4.53、4.05个百分点基于ConvNeXt-L骨干网络时相交类别mAP达61.55开放词汇类别达54.02各项指标均刷新SOTAAP75指标的显著提升也证明模型的掩码预测更精准、鲁棒跨域测试表现优异面对陆地到水下的大领域差距模型依旧展现出强泛化能力ConvNeXt-B骨干网络下整体mAP达32.62ConvNeXt-L下达46.18较第二名分别提升2.57、5.91个百分点远超其他方法模块消融验证有效单独加入GPEM或SAIM均能提升模型性能二者结合时效果最优证实了几何增强和语义对齐的互补性水下提示词和模板选择策略的引入也让开放词汇类别的识别性能明显提升效率与性能兼顾相较于同类方法该模型在实现性能突破的同时保持了更低的计算量GFLOPS和更少的可训练参数在4张NVIDIA RTX 4090 GPU上可高效训练兼顾了实际应用的效率需求。此外模型对鲸鲨、箱鲀等视觉特征鲜明的类别识别准确率极高即使是跨域场景对塑料袋等陆地和水下共现物体也能精准识别充分验证了其泛化能力。四、优势与局限核心优势首创专属基准填补领域空白MARIS数据集是首个水下开放词汇实例分割的大规模细粒度基准解决了该领域无统一评测标准的问题为后续水下感知研究提供了重要的数据支撑双模块针对性解决痛点几何先验增强模块突破了水下视觉退化的限制语义对齐注入机制弥补了水下语义理解的短板二者结合让模型在水下复杂场景中兼具识别稳定性和泛化性跨域泛化能力强模型在未经过水下数据训练时仅靠陆地数据集就能实现较好的水下识别效果大幅降低了水下模型的训练成本更易落地应用轻量高效适配实际场景模型参数少、计算量低无需超高配的硬件资源兼顾了识别性能和推理效率适合水下自主航行器等算力受限的设备搭载。现存局限极端环境和稀有物种覆盖不足MARIS数据集虽涵盖多类对象但对深海、极地等极端水下环境以及部分超稀有海洋物种的标注仍有欠缺可能限制模型在这类场景的泛化能力细粒度相似物种易混淆模型对形态、外观高度相似的水下物种如白斑光唇鱼与孔雀石斑鱼仍会出现分类错误难以有效区分视觉相似但语义不同的物种长尾分布影响性能数据集中存在明显的类别长尾分布高频物种样本充足而稀有物种样本较少导致模型对稀有物种的识别准确率相对较低。五、一句话总结中国电信AI研究院联合多校团队构建了首个水下开放词汇实例分割细粒度基准MARIS提出的几何先验增强和语义对齐注入双模块框架有效解决了水下视觉退化和语义歧义问题在同域和跨域测试中均实现SOTA性能兼顾了轻量高效的特点为水下开放词汇感知研究奠定了重要基础也为海洋监测、水下机器人等实际应用提供了新的技术方案。