1. 无监督学习从“看”到“懂”的进化大家好我是老张在AI和计算机视觉这个圈子里摸爬滚打了十几年。每年看CVPR的论文就像追一部技术界的年度大戏总能发现一些让人眼前一亮的“黑科技”。今年CVPR2024上无监督学习这个老话题又爆发出不少新火花尤其是在视觉领域17篇精选论文几乎覆盖了从2D图像到3D场景、从分割到生成的方方面面。如果你觉得无监督学习还停留在“让模型自己瞎猜”的初级阶段那可就大错特错了。现在的无监督学习更像是一个聪明的“自学者”能在没有老师标注数据手把手教的情况下自己摸索出世界的规律而且效果直逼甚至超越有监督的“学霸”。为什么无监督学习突然又火起来了说白了还是被数据“逼”的。现实世界的数据浩如烟海但给每张图片画框、给每个像素贴标签的成本高得吓人尤其是在医疗、自动驾驶这些对精度要求极高的领域。无监督学习的魅力就在于它能从海量的、未经标注的原始数据中自己学习有用的特征和结构这简直就是降本增效的“神器”。今年的CVPR论文更是把这种“自学习”能力推向了新的高度解决了许多过去被认为非常棘手的实际问题。比如你想让AI从一段视频里自动找出并跟踪那个最引人注意的物体比如一场足球赛里的球在没有人工标注哪一帧里球在哪的情况下传统方法基本抓瞎。但今年就有论文提出了用“引导式槽注意力”来解决这个问题让模型自己学会聚焦和分离。再比如你想修复一张拍糊了的家庭老照片但根本找不到对应的清晰原图作为“标准答案”无监督去模糊框架就能通过“自我增强”的策略自己生成越来越清晰的伪目标来训练自己。这些都不是纸上谈兵而是实实在在能落地、能解决痛点的技术突破。接下来我就带大家深入这些论文看看无监督学习是如何在具体任务中大显身手的。2. 看得更清图像与视频的修复与增强这一部分我们聚焦在“修复”与“增强”上也就是让模糊的变清晰让低质的变高质。这听起来像是魔法但今年的论文给出了非常扎实的工程实现路径。2.1 无监督图像去模糊当没有“标准答案”时如何学习图像去模糊是个经典难题。以往效果好的深度学习方法基本都依赖于“配对数据”——也就是一张模糊图对应一张清晰图。但现实中你拍糊了一张珍贵的照片去哪找它清晰的原图呢这种“配对数据”极难获取。Paper 2: Unsupervised Blind Image Deblurring Based on Self-Enhancement和Paper 6: Blur2Blur就从两个不同的角度巧妙地绕开了这个难题。Paper 2的思路非常有意思我称之为“自我迭代进化”。它不需要任何真实的清晰-模糊对。一开始模型手里只有一堆模糊图。它会尝试去生成一张“伪清晰图”同时为了检验这个生成过程是否合理它会把这张“伪清晰图”再故意模糊化得到一张“伪模糊图”。核心的巧思在于一个叫“再退化主成分一致性损失”的东西。它要求这个“伪模糊图”在本质特征主成分上要和最初输入的真实模糊图相似。这就好比让你临摹一幅字然后把你临摹的作品再复印一下要求这个复印件和原稿的“神韵”一致这逼着你的临摹必须抓住精髓。通过这种循环验证和迭代模型生成的“伪清晰图”质量会越来越高反过来又用来训练去模糊网络本身形成一个自我增强的闭环。我在实验类似的思路时发现这种方法的稳定性比想象中好尤其适合处理那些模糊模式复杂、难以用简单数学模型描述的实拍照片。Paper 6则走了另一条技术路线它针对一个更具体的场景为特定相机设备定制去模糊算法。它的核心思想是“以模糊制模糊”。不同相机、不同拍摄条件产生的模糊内核可以理解为模糊的“样式”是不同的。与其硬着头皮直接从一种复杂的模糊恢复到清晰不如先做一个转换把这种“难搞”的模糊转换成另一种我们已知的、更容易处理的“简单”模糊。这个“模糊到模糊”的转换任务比“模糊到清晰”要简单得多因为它不需要重建丢失的细节只需要改变模糊的样式。训练这个转换器只需要同一台相机拍摄的、未配对的清晰图和模糊图集合即可。这在实际应用中非常实用比如手机厂商可以为自己的摄像头模组专门训练一个轻量级的模糊转换器集成到影像算法中能显著提升成片率。2.2 盲图像质量评估与超分辨率无监督的“审美”与“放大”除了修复评价和提升图像质量也同样重要。Paper 4: Bridging the Synthetic-to-Authentic Gap解决的是“盲图像质量评估BIQA”的领域适应问题。简单说就是让一个在合成失真数据比如人为给清晰图加高斯噪声、压缩块效应上训练好的评分模型能准确评估真实世界照片的质量。这里最大的坑是“域鸿沟”合成失真的模式和真实照片的退化模式完全不同。这篇论文的亮点在于它没有盲目地在合成数据集中添加更多失真类型而是提出“失真引导的域适应”。它像一个聪明的数据筛选员会从庞大的合成数据源中挑选出那些失真特征与目标真实数据域最匹配的子集来训练模型避免“学歪了”。这提醒我们在无监督域适应中有时候“少而精”的数据选择比“大而全”的数据堆砌更有效。Paper 15: A Dynamic Kernel Prior Model for Unsupervised Blind Image Super-Resolution则挑战了“盲超分”这个硬骨头。超分辨率是把小图放大变清晰。而“盲”意味着我们不知道图像是因为什么内核比如是轻微高斯模糊还是剧烈运动模糊而变模糊的。传统方法要么需要预训练要么估计不准。这篇论文提出的动态内核先验DKP模型其核心是一个在线学习的内核估计器。它通过一种叫做马尔可夫链蒙特卡洛的采样方法在推理过程中动态地、自适应地学习当前图像最可能的模糊内核是什么。这个过程是“无监督”且“无需预训练”的完全根据输入图像自身来调整。你可以把它想象成一个经验丰富的修图师拿到一张模糊图不是套用固定滤镜而是先仔细观察模糊的纹路和方向心里快速形成一个修复策略然后再下笔。这种动态适应能力让它在处理各种未知模糊类型时都非常鲁棒。3. 看得更准分割、检测与3D理解如果说上一部分是提升视觉信号的“质量”那么这一部分就是提升AI对视觉内容的“理解”精度即理解画面里有什么、在哪里、是什么形状。3.1 无监督视频对象分割让AI自动锁定焦点无监督视频对象分割UVOS的目标是让AI自动找出视频里最吸引人的那个或那些物体并逐帧把它分割出来。这就像给AI一个短视频它能自动把主角“抠”出来。Paper 1: Guided Slot Attention for Unsupervised Video Object Segmentation和Paper 16: Dual Prototype Attention for Unsupervised Video Object Segmentation都在这个任务上做出了创新。Paper 1引入了“槽注意力”机制。你可以把“槽”理解为几个空白的、可学习的记忆单元。模型初始化两个槽一个用于前景主角一个用于背景。然后通过一种“查询引导”的方式让这些槽与视频帧的特征进行交互迭代地优化最终让前景槽“记住”主角的特征背景槽“记住”环境的特征。为了提升交互效果论文还加入了K近邻过滤和特征聚合Transformer。我尝试复现这个思路时感觉它的优势在于对复杂背景和多目标场景的处理更稳健因为槽机制本身就有很强的归纳偏置倾向于将不同物体分离到不同的槽中。Paper 16则从“注意力”机制本身入手提出了双重原型注意力。一个是跨模态注意力IMA负责融合外观颜色、纹理和运动光流这两种不同模态的信息让它们相互补充、相互修正。另一个是跨帧注意力IFA它不再只关注当前帧和前一帧而是将整个视频片段的所有帧的全局上下文信息都注入到当前帧的处理中。这就好比你在看一段视频时不是只看眼前这一秒的画面而是基于对前面几秒甚至整个视频情节的理解来判断当前帧中哪个物体是持续被关注的焦点。这种利用长时序上下文的能力对于处理物体短暂被遮挡或形变剧烈的场景至关重要。3.2 无监督3D感知从点云到场景的理解飞跃从2D到3D是视觉理解的一次升维挑战也更大因为3D数据的标注成本更是几何级数增长。今年的几篇3D无监督学习论文展示了如何从稀疏、无标签的数据中学习丰富的3D结构信息。Paper 5: Unsupervised Occupancy Learning from Sparse Point Cloud解决的是从稀疏点云重建完整3D形状的问题。传统方法学习神经符号距离函数SDF对监督信号依赖很强。这篇论文另辟蹊径改为学习“占用场”——即判断空间中的一个点是在物体内部还是外部。这个任务从稀疏点云中学习起来更容易。它的关键技巧是使用一个基于边际的不确定性度量来从占用场的决策边界也就是物体表面附近可微分地采样点并用输入的点云本身来监督这些采样点。同时在训练早期对占用场施加一个最小熵的约束让优化过程更稳定。实测下来这种方法对于只有寥寥几个扫描点的物体也能推断出相对合理的完整形状在机器人抓取、AR建模等需要实时3D重建的场景下潜力很大。Paper 10: UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes则更进一步不仅要理解3D形状还要把室内扫描场景中的各个物体实例区分开比如把桌子、椅子、电脑分成不同的个体。它完全不需要任何3D实例标注。其流程分为两步首先是利用自监督学习得到的颜色和几何特征生成粗糙的“伪掩码”来猜测哪些点可能属于同一个物体然后它以这些3D点云片段为基本单位进行学习并通过一种自训练的方式不断迭代细化这些分割提案。这个方法将无监督3D实例分割的精度提升了300%以上这意味着即使是在杂物堆积的复杂房间扫描中它也能较好地把不同的物体分开为机器人室内导航和交互提供了基础。Paper 8: HUNTER专注于“以人为中心”的3D检测。现实世界中的人体姿态、互动极其多样标注3D包围框成本极高。这篇论文的思路是“知识迁移”利用大量容易获得的合成人体模型比如游戏或动画中的人物学习其3D特征然后通过精心设计的“实例到场景表示转移”和“合成到真实特征对齐”模块将这些知识迁移到真实的点云场景中。这模仿了人类的一种学习方式我们可能先在虚拟游戏里认识了人的各种形态然后在现实中就能快速识别出来。这种方法在真实场景数据集上取得了接近全监督方法的性能为服务机器人、智能监控等应用铺平了道路。4. 跨域与解耦泛化与控制的艺术AI模型不仅要在一个任务上做得好还要能适应新环境不仅要能生成结果还要让我们能控制生成的过程。这就是跨域适应与表征解耦要解决的问题。4.1 无监督域适应让模型学会“举一反三”Paper 3: Split to Merge: Unifying Separated Modalities for Unsupervised Domain Adaptation处理的是视觉-语言模型如CLIP的域适应问题。CLIP这类模型本身跨模态能力很强但直接用于新领域比如医疗影像效果会下降。以往的方法要么只调视觉分支要么只调文本分支。这篇论文认为视觉和语言模态之间微妙的相互作用被忽视了。它提出了一个“统一模态分离”框架能把CLIP的特征清晰地分解成“语言相关”和“视觉相关”两部分然后再用一个“模态集成训练”方法让两部分信息在保持各自特点的前提下进行有效交换和跨域对齐。这好比让一个既懂绘画又懂艺术评论的专家去学习一个新画派我们不是让他只练眼睛或者只练嘴而是协调他的视觉观察力和语言表述力共同适应新风格。这种方法以很小的计算成本就在多个基准上取得了领先。Paper 12: MAPSeg针对的是医学图像分割中的域适应。医学影像数据来自不同医院、不同设备域标注极其困难。MAPSeg框架的强大之处在于其通用性它系统性地处理了四种不同类型的域偏移如从CT到MRI从一家医院到另一家并且首次实现了在集中式、联邦式甚至测试时自适应这三种不同的部署范式下都能保持高性能。它的核心是结合了3D掩码自编码和伪标签技术通过自监督学习强大的通用特征再通过可靠的伪标签在目标域上进行自训练。在实际的婴儿脑MRI和心脏CT-MRI数据上它大幅超越了之前的方法这对于推动AI医疗模型的临床实际应用至关重要。4.2 无监督解耦与编辑挖掘模型内部的“控制杆”Paper 7: NoiseCLR探索的是扩散模型这个“当红炸子鸡”的内部世界。我们知道GAN有一个很好的特性是“解耦潜在空间”可以通过滑动一个控制杆来连续改变生成图像的某个属性比如发色、笑容。但扩散模型的潜在空间一直像个黑箱。NoiseCLR提出了一种完全无监督的方法来发现文本到图像扩散模型中的语义方向。它不需要任何文本提示只需要一个目标领域的图像集合比如一堆人脸照片然后通过对比学习自动发现这个领域内多样化的、可解释的编辑方向比如改变年龄、添加眼镜、改变发型。更酷的是学到的这些编辑方向可以组合使用互不干扰。这意味着你可以用无监督的方式为一个预训练好的Stable Diffusion模型“注入”对特定领域如古风建筑、医学细胞的精细控制能力而无需重新训练这个大模型极大地降低了定制化生成的门槛。Paper 13: SfmCAD的目标是让AI理解并重建3D CAD模型。它从体素表示的3D形状中无监督地学习一种“草图路径”的参数化表示。2D草图负责捕捉局部细节特征比如一个圆孔3D扫描路径则定义了整体结构比如拉伸的轨迹。这种将形状的细节与结构清晰分离的表示不仅重建质量高而且赋予了用户极高的可解释性和控制权——你可以通过修改草图形状或拉伸路径来直观地编辑生成的3D模型。这为从实物扫描逆向生成可编辑的CAD文件以及AI辅助的工业设计打开了一扇新的大门。Paper 14: ExMap关注的是模型公平性与鲁棒性。深度学习模型容易学到数据中的虚假关联比如将“草地”与“牛”强关联导致在沙滩上的牛识别不出来。现有方法通常需要知道不同群体如“草地上的牛”、“沙滩上的牛”的标签分布这很难获取。ExMap巧妙地利用了模型的可解释性热力图即模型关注图像的哪些部分来做决策。它通过聚类这些热力图来推断数据属于哪个伪群体然后用这些伪群体标签去训练一个更鲁棒的分类器。这相当于让模型自己审视自己的“注意力”是否偏颇并进行自我修正。这个方法可以无缝集成到现有的鲁棒性训练策略中是迈向更公平、更可靠AI的实用一步。5. 前沿探索与未来展望除了上述相对成体系的方向今年CVPR还有一些论文在更前沿的交叉点进行探索展示了无监督学习广阔的可能性。Paper 9: Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos尝试仅从围绕物体随意拍摄的手机视频中无监督地学习该类物体的3D姿态。它不需要任何3D标注、CAD模型或深度传感器。其核心是一个两阶段流程先通过一个多视图对齐程序利用重建的粗糙网格和DINOv2特征确定不同视频帧之间的规范相机姿态再利用这些规范姿态和网格训练一个从单张图像预测3D姿态的网络。这相当于让AI通过观察网上大量同一类物体比如椅子的短视频自己总结出这类物体的3D结构规律从而从任意一张新照片中估计出它的3D朝向。这对于机器人抓取、AR内容放置等需要理解物体位姿的应用极具价值。Paper 11: HIR-Diff将扩散模型引入了高光谱图像恢复这个专业领域。高光谱图像包含数百个连续波段的信息在环境监测、军事侦察中很重要但极易受噪声等因素退化。这篇论文提出了一个基于改进扩散模型的无监督框架。它将干净的高光谱图像分解为两个低秩矩阵的乘积其中一个“缩减图像”通过引入总变异先验的扩散模型来推断另一个系数矩阵则通过矩阵分解高效预估计。同时它设计了一种指数噪声调度策略在几乎不损失性能的情况下将去噪采样速度提升了约5倍。这种将物理先验低秩与强大生成模型扩散结合的思路为处理其他科学计算中的逆问题提供了新范式。Paper 17: Temporally Consistent Unbalanced Optimal Transport for Unsupervised Action Segmentation将最优传输理论用于长视频的动作分割。它的目标是将未剪辑的长视频比如一段烹饪视频自动切分成“打鸡蛋”、“搅拌”、“煎炒”等动作段落。它通过求解一个融合了Gromov-Wasserstein距离的最优传输问题从一个噪声的帧-动作匹配成本矩阵中解码出时间上一致的分割结果。最大优点是不需要预先知道视频中动作出现的顺序。这个方法在无监督学习设置中作为生成伪标签的工具在多个数据集上取得了先进结果为视频内容理解和结构化提供了新工具。走过这17篇论文我们能清晰地感受到无监督学习正在从“可用”走向“好用”从“模仿学习”走向“自主发现”。这些工作不再是简单的理论炫技而是紧密贴合实际应用中的瓶颈数据标注成本、领域差异、模型可控性、计算效率。它们提供的解决方案往往巧妙而有效比如用“自我增强”创造训练信号、用“知识迁移”跨越鸿沟、用“注意力”与“解耦”提升模型的可解释性与控制力。对于从业者来说这些论文中的技术细节和开源代码很多论文都提供了是宝贵的财富。例如在部署一个图像质量评估模型时Paper 4的失真引导域适应思想可以直接借鉴在尝试对扩散模型进行特定风格微调时Paper 7的无监督语义发现方法提供了一个免标注的路径。无监督学习的浪潮还在继续它的终点或许是一个真正具备自主观察、归纳和推理能力的通用视觉智能体。