点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐转载自机器之心沉寂许久的 Ian Goodfellow终于再次现身。这位提出 GAN生成对抗网络、被称为 GAN 之父的研究者曾一手开启 AI 生成技术的早期浪潮。但在最近几年由大模型主导的新一轮生成式 AI 竞赛中Goodfellow 的公开声音却并不频繁。直到最近终于有了他的消息。文章作者共三位Ian Goodfellow 是生成模型时代的开创者2014 年提出 GAN开启了 AI 图像生成的第一波浪潮Chris Manning 则是 NLP 先驱、斯坦福教授自然语言处理领域最具影响力的学者之一长期推动大语言模型的发展Fan-Yun Sun 是 Moonlake AI 联合创始人兼 CEO研究方向集中在多模态世界模型。文中提出利用符号化表示symbolic representations以及游戏虚拟世界的数据可能是构建具备动作条件action-conditioned的多模态世界模型的最佳路径。这类模型能够支持对长时序任务long-horizon tasks进行可靠的预测与规划。文章地址https://x.com/moonlake/status/2029983120087470545以下是文章内容当人类以及其他动物生活在世界中时它们可以感知周围正在发生的事情。但人类所做的远不止观察人们还能预测环境中其他生物或物体接下来可能的行为并据此规划自己的行动以实现某个目标无论是去获取晚餐还是说服别人和自己一起踏上一次冒险之旅。要成功完成这些复杂任务就需要一个高效的世界模型。所谓世界模型是指一种能够表示环境运作方式的模型包括环境的动态变化dynamics以及其中的因果结构causal structure。这一概念可以通过强化学习中的模型来形式化描述在强化学习框架中环境通常被建模为一个部分可观测马尔可夫决策过程POMDP。在这个框架下世界模型用于近似环境的状态转移函数 P (s′∣s,a)也就是在当前状态 s 下执行动作 a 时预测下一个世界状态 s 的概率。借助世界模型我们可以基于对世界行为的心理模型来进行预测、规划、推理和行动而无需每次都通过与真实世界直接交互来观察行动的后果。然而在现实中人类并不能直接获得世界的真实状态 s。我们所能获得的只是对真实状态的一部分观测 o。换句话说人类始终是在不完全信息的条件下理解和行动于这个世界之中。人们在观察或测量世界时采取了不同的方法并利用不同的模态来构建世界模型。例如一个像 ChatGPT 这样的大语言模型仅通过文本就能学习到某种形式的潜在世界模型在其数十亿参数之中隐含着对物理世界和社会世界的某种表示以及对因果关系的一定理解使得模型能够在 token 空间中通过输入和输出模拟世界中的事件、行为体和环境。然而我们所生活的世界并不只是文本它还包括视觉、声音、触觉等多种感知形式。因此在这篇文章中作者重点讨论的是多模态世界模型multimodal world models。在构建多模态世界模型时我们需要先提出两个关键问题我们为什么要构建这个世界模型以及是否能够获得可规模化的数据来源来对其进行训练我们为什么要构建世界模型构建世界模型的目标是为了实现能够释放巨大经济价值的 AI 能力并帮助人们摆脱那些不受欢迎的工作。尽管当今的 AI 在某些复杂任务中已经能够自主运行但现实世界中的任务往往要求理解行动在时间维度上如何产生后果而不仅仅是识别观察数据中的模式。关键不仅在于理解世界中各种对象或现象如何同时出现更在于理解它们之间的因果关系。例如一个人在房间里对另一个人大喊可能会让对方感到不开心但一个人感到不开心并不会导致房间里另一个人开始大喊。作者认为在多模态环境中进行因果推理的能力是通向具身 AGI 最重要的核心能力之一。当人们谈到多模态世界模型时很多人会首先想到生成式视频模型例如 Sora 或 Genie 3。这些模型通常能够生成视觉效果极为逼真、质量很高的场景并在视频制作等领域具有广泛应用。但从本质上看这类模型是在通过像素观测来度量四维世界的变化并尝试建模连续视频帧之间的关系。如果只是想表达一辆赛车在急弯中高速转弯、轮胎发出刺耳摩擦声的画面那么基于像素的世界模型显然比文本更直观。然而这种方式并不一定能够真正捕捉世界的因果结构。例如猛打方向盘会导致汽车急转弯而急转弯又会导致轮胎摩擦发出尖叫声。此外由于缺乏抽象层和语义结构纯像素建模在速度和成本上往往效率较低。一些研究例如《Are Video Generation Models World Simulators?》也指出即使是当前最先进的模型仍然会出现物理或空间理解上的问题比如固体物体漂浮在空中或两个实体相互穿透等现象。如果目标是为下一步行动进行规划那么问题就出现了我们真的需要一个高分辨率的像素视图来建模世界吗作者认为在大量具有经济价值的任务中其实并不需要如此细致的视觉信息。毕竟人类即使在各种感官能力存在局限的情况下也能完成几乎所有现实任务。此外在很多情况下仅用几句话描述一个场景例如汽车急转弯时轮胎发出刺耳摩擦声就足以支持理解与决策。相关实验也表明人类在处理视觉信息时往往并不是完整解析所有像素而是以自上而下、任务驱动的方式进行处理并依赖于对象层级的抽象表示。在绝大多数情境中部分信息加上语义理解就已经足够。因果关系本身可能非常复杂。那么人类在理解世界方面到底有什么特殊之处使我们能够不断深化对世界的认识事实上许多生物即使是像乌鸦这样相对简单的动物也能够通过观察世界来形成某种内部世界模型并据此制定计划实现目标。人类之所以比其他生物拥有更强大的能力关键在于我们发展出了认知工具cognitive tools。其中最重要的是自然语言以及后来发展出的各种符号表示例如数学和编程语言。这些认知工具能够帮助人类以更高效的方式对世界进行抽象并准确表达因果关系和结果。它们不仅使人类能够更高效地推理世界中真正重要的因素还让我们能够通过语言沟通和协作从而影响他人的行为。更重要的是工具和抽象可以让模型把表示能力集中在那些真正影响决策的世界要素上从而在数据和计算效率上都更具优势。与其试图通过原始感官数据完整重建整个世界不如利用语义层面的抽象来实现更强大、更高效的理解和操作。这一点与如今代码生成模型处理编程语言的方式类似通过符号系统进行操作而不是直接处理底层机器状态。这种表示方式具有高度紧凑的特点使得模型在面对长时间跨度任务或需要记住大量历史事件的情境时也能够进行有效预测与推理。我们可以从哪里获得可扩展的数据来源来训练因果世界模型文章指出数据是构建有效模型中最关键的因素。目前大多数最先进的视觉世界模型仍然是基于像素的世界模型但这些模型通常并不具备动作条件action-conditional能力。虽然互联网上存在海量视频数据例如来自 YouTube但真正记录行动本身及其结果的数据却非常稀缺而正是这些数据才能帮助模型理解行动会带来什么后果。目前也有一些研究路径尝试让像素世界模型具备动作条件能力但作者认为更具数据效率和计算效率的一条道路是利用软件抽象来构建多样化的合成世界synthetic worlds以增强模型训练。这些合成环境同样可以成为训练动作条件像素世界模型的重要数据来源。抽象机制可以让模型在更少数据的情况下实现高性能。当下这些抽象大多以符号表示symbolic representations的形式存在例如代码和自然语言。这些符号可以通过一种高度可扩展的数据采集接口获得即计算机及其输入设备例如键盘和鼠标。此外符号表示也更适合人类进行精细、有效的控制。由于它们正是人类表达意图的接口因此可以形成一个同时包含行动actions与观测observations的数据飞轮。对于一个需要由人类操作的模拟环境而言必须存在一个有效的交互接口而这一接口往往最自然地通过人类语言和软件代码这样的符号系统来实现。最后作者认为要成功构建世界模型一条能够实现商业自我持续发展的路径尤为关键。只有当商业化激励持续推动数据产生和模型改进时模型能力才能不断提升。类似的模式已经多次出现例如智能手机中的惯性测量单元IMU推动了相关技术发展以及大语言模型在自然语言处理领域的快速进步。因此作者提出应当从数字世界开始构建多模态世界模型。像游戏这样的交互式媒体既能够提供明确的参与激励例如娱乐又具备可扩展的数据采集接口键盘和鼠标从而让数据自然积累。这条路径有望最终实现一种模型在完全成熟的形态下它不仅能够生成环境还能用于训练和控制任何具身智能体无论是在虚拟世界还是现实世界中。目前已经出现了一些迹象表明这种跨环境的泛化能力正在逐步显现。展望文章指出这并不是在否定像素作为世界表示方式的价值也不是认为未来只会存在一种统一的世界表示形式。作者强调更关键的是世界模型的设计应当围绕我们希望从中学习到的策略policy来展开。在此基础上需要借助合适的抽象方法和工具使模型能够聚焦于那些真正影响决策的环境因素从而在数据效率和计算效率之间取得更优平衡。如果目标是在多模态环境中理解因果关系那么无论世界模型是用于虚拟世界还是现实物理世界它都需要优先满足一些关键属性。例如在长时间尺度上保持空间和物理状态的一致性并能够推动世界状态的演化使其真实反映行动带来的后果。文章最后提到这正是 Moonlake 当前正在探索和构建的方向。本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看