文章GEN2SEG: GENERATIVE MODELS ENABLE GENERALIZABLE INSTANCE SEGMENTATION代码https://reachomk.github.io/gen2seg单位加州大学戴维斯分校一、问题背景人类仅凭有限经验就能识别各类陌生物体而传统视觉模型的“零样本迁移”往往依赖海量标注数据覆盖多样类别与风格。在实例分割任务中现有模型要么需要大规模标注数据如SAM依赖1100万张图像和11亿个掩码要么难以泛化到未见过的物体类型和图像风格。如何让模型仅通过少量窄域数据训练就具备强大的跨类别、跨风格实例分割能力成为亟待解决的核心问题。二、方法创新文中没有提供pipline图。核心思路借助生成模型的图像合成能力——生成模型在合成场景时需理解物体边界和结构天然蕴含感知分组机制将其适配到类别无关的实例分割任务。模型选择与微调基于Stable Diffusion 2和MAE仅经ImageNet-1K预训练通过端到端微调实现分割无需互联网规模预训练或文本监督。实例着色损失设计将分割掩码编码为RGB图像每个实例分配唯一颜色、背景为黑色设计三重损失 intra-实例方差损失保证实例内像素颜色一致、inter-实例分离损失推开实例外像素与实例颜色、均值分离损失区分不同实例的颜色中心无需固定颜色映射即可实现精准分割。点提示分割方案通过高斯加权平均计算提示点的查询向量结合相似度映射与双边滤波实现简单高效的点提示二进制掩码生成无需额外训练掩码解码器。三、实验结果零样本泛化表现在COCOexc、DRAM艺术、EgoHOS第一视角、iShape精细结构、PIDRayX光5个数据集上SD模型性能接近强监督的SAMiShape数据集上mIoU达51.4远超SAM的16.8。边缘检测优势BSDS500数据集上SD模型边缘AP达93.4显著优于SAM的79.0即使训练数据为多边形边缘的COCO仍保持10个百分点以上的优势。数据鲁棒性仅用5类物体书籍、椅子等或简单形状数据集ClevrTex训练仍能保持良好泛化面对色调调整、灰度化等图像扰动掩码质量下降有限。高效训练特性SD模型仅需4块RTX6000 Ada GPU训练29小时8.7万张图像、370万掩码远低于SAM的256块A100 GPU训练68小时的成本。四、优势与局限优势泛化能力突出无需见过目标类别掩码就能分割人类、动物、印象派艺术、X光图像等未训练场景突破数据依赖。细节分割精准在精细结构如电线和模糊边界如马车与马匹分割上优于SAM边缘更清晰。训练高效灵活仅需微调解码器或少数层即可达到理想效果支持少量标注数据训练适配不同硬件资源。鲁棒性强对图像颜色、纹理变化不敏感适配复杂真实场景。局限小物体分割薄弱受预训练偏置影响对小型物体的分割性能较差COCO S exc的mIoU仅8.5。训练分辨率受限微调分辨率低于SAM480×640/224×224 vs 1024×1024可能影响细节捕捉。部分场景边界模糊倾向于将云层、草地等归为背景高召回率场景下精度下降。五、一句话总结GEN2SEG通过生成模型的固有分组机制与创新实例着色损失实现了仅需窄域数据训练就能跨类别、跨风格的精准实例分割为低成本、高泛化的视觉感知任务提供了新范式。