世界模型是最近 AI 技术社区里讨论热度非常高的话题。过去一段时间大家比较熟悉的可能是视频生成、自动驾驶仿真、机器人操作这类方向。而近期牛津大学与新加坡国立大学NUS相关团队提出的“心智世界建模”Mental World Modeling简称 MWM把这件事又往前推了一步世界模型不一定要停留在物理层面它还可以建模“人的内心状态、意图、信念和可能采取的行动”。这篇文章我会从概念层面开始拆解结合经典世界模型的能力边界、MWM 的核心思想、与 YOLO World 这类视觉模型的关联以及工程落地时可以参考的设计思路给出一份比较完整的技术视角解读。1. 世界模型为什么突然变热了1.1 什么是世界模型世界模型World Model这个说法最早可以追溯到认知科学和机器人控制领域核心思想是智能体在感知外部环境之后不是简单地“看到什么就反应什么”而是在内部建立一份对环境的动态描述。这份描述不仅包含当前时刻的状态还包含状态之间如何转移的规律。举个例子一辆自动驾驶汽车观察前方路口时如果只是识别出“红灯、行人、车辆”这还不能算世界模型。真正的世界模型会进一步回答几个问题如果继续以当前速度行驶3 秒后会处于什么位置行人当前的运动趋势是穿过马路还是在路边等待相邻车道的车辆会不会有变道意图如果突然刹车后面车辆是否有足够反应距离这些问题本质上是在做“预测”。所以业界普遍认为世界模型是一种能够对环境状态进行内部模拟并基于当前状态预测未来状态的模型。它把感知、记忆、推理和规划连接在了一起。1.2 为什么最近这么火世界模型在近两年热度上升有几个重要因素第一视频生成模型展示出了惊人的“视觉想象”能力。像视频生成模型能够根据一段文字或者一张静态图生成连贯的未来帧这说明模型内部确实可能学到了某种时空一致性。这种能力恰好和世界模型追求的“预测未来”高度一致。第二大语言模型证明了“大规模预训练 强化学习”可以在复杂任务上取得突破因此研究人员开始把这种范式迁移到多模态、具身智能、自动驾驶等场景中。第三具身智能和人形机器人的发展让模型不再只是“聊天”或“生成图片”而是需要真正地在物理世界中行动这要求模型具备对物理规律和人类行为规律的理解。你可以这样理解大语言模型通过语言理解人类的显式表达而世界模型试图理解语言背后的物理世界和人类心智。MWM 的提出正是把“人类心智”这个维度放到了世界模型的中心。1.3 世界模型与 LLM 有什么区别很多读者会问世界模型和大语言模型LLM不是都会做“预测”吗确实两者都做预测但预测对象不同。LLM 预测的是下一个 token也就是一段文本中最可能出现的后续文本。这种预测主要建立在语言统计规律之上。世界模型预测的是环境的下一个状态例如下一帧视频、下一个物理状态、下一组传感器读数、下一个人可能做出的动作。正是因为预测目标不同两者的知识结构也不同。LLM 更擅长表达事实性知识和语言逻辑但面对需要连续决策、实时反馈、物理约束的任务时往往缺少对环境动态的精确建模。世界模型恰好是补充这一块的关键拼图。2. 传统世界模型做了什么边界在哪里2.1 物理世界建模的主要形式经典的世界模型研究大多集中在物理世界建模上。最典型的方向包括基于视频帧预测的视觉世界模型输入连续多帧图像输出未来帧让模型学会时空一致性。基于强化学习的隐式动力学模型智能体在环境中执行动作后模型根据当前状态和动作预测下一个状态。基于 NeRF、3DGS 的几何重建对三维场景进行显式重建建模物体位置、形状和外观。基于模仿学习的行为预测模型在自动驾驶中预测其他交通参与者的未来轨迹。这些方向解决的核心问题是“环境的物理规律”。比如物体运动轨迹、遮挡关系、碰撞反应、光照变化等。2.2 物理建模的明显短板物理世界建模虽然进展明显但很多场景下它并不足以支撑真正的智能决策。原因在于物理状态相同不代表人类社会场景中的风险相同。举个例子。机器人帮人倒水时它能检测到水杯的位置、水壶的倾斜角度、水的高度。但这些物理量无法直接告诉机器人眼前这个人现在是不是着急我是不是应该加快速度如果桌子对面的人正在打电话我是否需要等待再举个例子。自动驾驶汽车在十字路口看到行人站在斑马线边缘。物理建模可以准确预测出行人的位置和速度但很难判断这个行人是打算过马路、还是在等人、还是在看手机。而这一判断直接决定了车辆是减速礼让还是正常通过。这一类问题已经超出了物理世界建模的范畴进入到了对“人间状态”的理解。MWM 要补上的正是这一环。3. 心智世界建模MWM到底是什么3.1 从“物理量”到“心智状态”MWM 的全称是 Mental World Modeling中文可以翻译为“心智世界建模”。它和传统世界模型最大的不同在于除了对外部物理状态进行建模还要对观察对象的心智状态进行建模。这里所说的“心智状态”不是玄学而是可以被结构化的信息包括信念对方认为当前环境处于什么状态。意图对方接下来可能采取什么行动。注意力对方当前关注的对象是什么。情绪状态对方当前是平静、紧张还是急躁。知识水平对方是否知道你掌握的信息。这些信息虽然看不见、摸不着但在人类协作中是极其重要的信号。MWM 的目标就是让机器也能建立这样一种能力。3.2 为什么物理世界模型不够用如果只做物理世界模型会面临以下局限局限类型说明典型表现信息不完备物理状态相同真实场景语义不同行人站立可能是在等人也可能是在观察车流行为多模态相同意图可能对应不同动作“想喝水”可能表现为走向水杯、抬手示意或开口请求社会规范性行动不仅要合法还要符合社交预期机器人不应在人专心工作时打断对方反事实推理需要理解“如果我没有做某事结果会怎样”决策之前评估多条行动路径的影响这些能力很难直接从视频帧预测或物理坐标回归中得到。要突破瓶颈就需要让模型理解世界不仅由物体构成还由“人”和“人的内心状态”构成。3.3 MWM 的核心理念牛津与 NUS 团队在提出 MWM 的方向时并不是简单地在世界模型里多引入一个“情绪识别模块”。更关键的是把心智状态当作世界状态的一部分参与推理和规划。我理解中的 MWM 核心可以拆成三层第一层观测层。通过视觉、语音、文本等信号感知外部环境包括人的语言、表情、动作、注视方向等。第二层推理层。将观测到的信号转换为心智状态描述比如“用户对当前操作流程存在疑问”“对方更倾向于 B 方案”并进一步预测这些心智状态的变化。第三层规划层。在物理状态和心智状态共同构成的联合状态空间中做决策。机器行动时不仅考虑物理可行性还考虑行动对他人心智状态的影响。换句话说MWM 把“人的想法”真正变成了模型决策的一个内部变量而不是一个额外标签。4. MWM 核心框架可以怎么设计虽然目前 MWM 还没有形成一套统一的标准框架但从已有研究和工程实践来看我认为可以抽象出一套比较清晰的参考结构。下面按模块拆解。4.1 场景表示物理状态与心智状态分离建模为了实现 MWM第一步是重新定义模型的状态表示。传统世界模型通常表示为一个状态向量而 MWM 状态应该是一个联合状态可以写成物理状态物体位置、速度、形状、材质、灯光、遮挡关系等。心智状态目标的意图分布、注意力焦点、信念状态、计划等。代码层面可以抽象成下面的结构# 文件路径world_model/state.py from dataclasses import dataclass, field from typing import Any, Dict, Optional dataclass class PhysicalState: 物理世界状态描述外部物体的可观测属性。 object_poses: Dict[str, Any] field(default_factorydict) velocities: Dict[str, Any] field(default_factorydict) semantic_tags: Dict[str, str] field(default_factorydict) timestamp: Optional[float] None dataclass class MentalState: 心智状态描述智能体推测的人类内部状态。 intent: str unknown confidence: float 0.0 attention_target: Optional[str] None belief: Dict[str, Any] field(default_factorydict) emotion: str neutral plan: Optional[str] None dataclass class MentalWorldState: MWM 中的联合世界状态。 physical: PhysicalState PhysicalState() mental: MentalState MentalState()这里可以注意一个设计点物理状态和心智状态是分开维护的但是最终会进入同一个规划模块。为什么要分开因为两者的更新频率、观测来源、不确定性处理方式差别很大。物理状态可以用滤波、检测、跟踪模型持续更新心智状态往往需要基于行为片段做推断置信度更低需要单独管理。4.2 感知与心智推理建模心智状态不能靠“猜”必须落到可计算的推理模块。这一层通常有两部分输入显式信号人的语言、文字指令、图标点击行为。隐式信号面部表情、注视方向、语音语调、操作停顿、姿势变化。感知模块输出的是多模态特征推理模块负责把特征映射成心智状态。这个推理过程可以按贝叶斯或深度学习的思路来实现。深度学习的思路更常见也更适合工程化用一个大模型接收多模态输入输出意图标签和置信度然后再更新 MentalState。示例思路如下# 文件路径world_model/mental_inference.py class MentalInference: def __init__(self, model_path: str): # 实际项目中可以加载多模态模型例如视觉-语言模型 self.model self._load_model(model_path) def _load_model(self, model_path: str): # 示意代码按实际框架加载模型 return None def infer(self, visual_feature, text_feature, action_sequence): 将感知特征映射为意图与信念状态。 返回: mental_state # 完整实现时会做特征拼接、解码与状态映射 predicted_intent self._decode_intent(visual_feature, text_feature) return { intent: predicted_intent, confidence: 0.0, attention_target: None, } def _decode_intent(self, visual, text): # 真实场景中这里调用模型推理 return unknown需要注意的是这里的代码只是演示模块关系不代表学术上已经统一采用这种实现。心智推理目前还有很多开放问题例如意图的粒度怎么定义注意力怎么量化信念状态怎么表示和更新这些都需要根据具体场景做设计。4.3 联合规划与决策MWM 的最终目的是让决策更合理所以联合规划模块很重要。传统规划里动作的结果大多用物理状态变化来评估。在 MWM 框架里动作结果评估要同时看两个维度任务完成度物理目标是否达成。心智影响对方的心智状态是否发生预期变化。举例来说如果一个服务机器人在向用户介绍方案时发现用户频繁皱眉、视线离开屏幕那么系统应该意识到当前沟通节奏可能不理想进而调整语速或暂停讲解。这个决策的依据正是心智状态的变化。规划模块可以用交互式决策框架来实现伪代码如下# 文件路径world_model/planner.py from typing import List class MWMPlanner: def __init__(self, inference: MentalInference): self.inference inference def choose_action(self, world_state, candidate_actions): best_action None best_score float(-inf) for action in candidate_actions: # 1. 预测物理结果 predicted_physical self.predict_physics(world_state, action) # 2. 预测心智结果 predicted_mental self.predict_mental(world_state, action) # 3. 计算联合收益 score self.evaluate( physical_statepredicted_physical, mental_statepredicted_mental, ) if score best_score: best_score score best_action action return best_action def predict_physics(self, state, action): # 物理世界模型预测 return state.physical def predict_mental(self, state, action): # 心智世界模型预测 return state.mental def evaluate(self, physical_state, mental_state): # 综合考虑任务完成度与用户心智反馈 return physical_state.success_score mental_state.satisfaction_score这个规划思路并不是某种官方标准而是为了说明 MWM 在工程上可以如何被拆解。读者在实际项目中可以结合自己的场景把其中的 predict_physical、predict_mental 替换成具体模型。4.4 一个最小可运行的状态更新示例为了让你直观看到 MWM 状态更新和决策之间的循环下面给一个最小示例# 文件路径demo_mwm.py from world_model.state import PhysicalState, MentalState, MentalWorldState class SimpleAgent: def __init__(self): self.state MentalWorldState( physicalPhysicalState(), mentalMentalState(), ) def perception_update(self, observation): # 更新物理状态物体位置等 self.state.physical.object_poses observation.get(poses, {}) # 更新心智状态基于行为信号 user_behavior observation.get(behavior, {}) if user_behavior.get(looking_away): self.state.mental.attention_target None self.state.mental.emotion distracted if user_behavior.get(nodding): self.state.mental.intent continue self.state.mental.confidence 0.7 def decide(self): if self.state.mental.intent continue: return continue_lecture elif self.state.mental.emotion distracted: return pause_and_confirm return wait这个示例的核心不是产出精确结果而是展示一个完整的“感知-心智状态更新-决策”闭环。做实际项目时可以把每个环节换成更强的模型和更细的状态定义。5. YOLO World 与视觉世界模型的演进前面主要围绕 MWM 概念和框架展开这里有必要插一个热点YOLO World 与视觉世界模型之间的关系。YOLO World 是视觉检测方向一个比较有代表性的工作它的关键贡献是让目标检测模型可以接受文本提示作为输入从而在开放词汇集上完成检测任务。过去 YOLO 只能检测训练集中出现的固定类别而 YOLO World 把文本编码和视觉编码做了对齐使得模型可以识别描述性文本所指向的目标。那这跟世界模型有什么关系从视角认知的演进角度来看可以分成三个阶段第一阶段封闭集检测。模型能识别固定类别相当于“看见了物体”。 第二阶段开放词汇检测。模型能根据文本描述识别从未见过的类别相当于“理解了语义”。 第三阶段世界模型。模型不仅要识别物体还要预测物体的运动、场景的变化、以及人的行为意图。YOLO World 解决了“开放词汇检测”这个层面。它让模型具备了更强的感知表达能力。但检测本身仍然是对当前帧、当前状态的空间定位不包含对下一时刻的预测也不包含对场景动态因果关系的建模。所以把 YOLO World 和 MWM 放在一起看反而是非常清晰的定位一个解决“看见什么”一个解决“接下来会怎样、我应该怎样回应”。未来的视觉感知模型很可能会朝两个方向同时演进一是持续扩大开放词汇能力二是逐步引入时序预测和心智理解能力。如果你在工程中使用了 YOLO World可以把它作为 MWM 系统中的感知前端。它对物体定位、属性识别、人机交互场景中的目标检测部分很有帮助但在检测结果之上还需要额外接一个状态预测与意图推理模块。6. 心智世界建模的主要技术挑战MWM 目前还处于一个早期探索阶段距离大规模工程落地仍有不少挑战。下面这些点是研究和开发者在接触 MWM 时大概率会遇到的。6.1 心智状态的形式化定义物理世界建模之所以进展快一个重要原因是状态定义清晰位置就是坐标速度就是向量遮挡就是几何关系。但心智状态没有这种标准定义。意图的层级怎么划分可能一个动作在低层是“伸手”在中层是“拿杯子”在高层是“准备喝水”。如果没有一个统一的分层结构模型很难在不同抽象层级之间做推理。目前比较可行的做法是以任务为导向先定义业务需要的心智维度。例如在智能客服场景心智状态可以是用户情绪在自动驾驶场景行人心智状态可以是“过街意图”在协作机器人场景心智状态可以是“对人注意力的估计”。6.2 多模态特征对齐要推理心智状态需要同时利用语言、图像、语音、动作序列。这对多模态模型的对齐能力要求很高。一个用户说“好的”同时点头但眼神游离。这三个信号对“用户是否满意”的指向可能并不一致。模型需要学会在矛盾信号中做权衡。这比单纯做分类要困难得多。6.3 因果推理能力MWM 不仅要做关联分析还要做因果推理。我们希望模型能回答如果我改变某个动作对方的心智状态会怎样变化因果推理在模型中的实现目前仍不成熟。当前大部分模型擅长做模式识别而不擅长反事实推理。这也是 MWM 研究中最难突破的点之一。6.4 评估指标缺失传统世界模型可以用生成帧的 PSNR、SSIM或者强化学习中的累计奖励来评估。但 MHM 的评估更难预测的意图准确率怎么算心智模型对规划能力的提升如何量化模型是否真的理解了对方还是仅仅匹配了统计规律这些指标还没有统一标准。做研究或工程时往往需要自定义评估协议。这个现状在短期内很难改变做相关工作的同学需要有预期。6.5 实时性与计算开销MWM 如果要用于机器人、自动驾驶、智能座舱等实时场景推理延迟要求很高。但多模态感知加心智推理加联合规划计算链路非常重。目前的模型很难直接在端侧设备上完成全流程推理。工程上可以分层缓解简单场景用轻量规则模型复杂场景再上升到完整 MWM 流程。这与实际工程中的降级策略完全一致。7. 潜在落地场景与工程建议7.1 具身智能与人形机器人人形机器人是 MWM 最典型的落地场景。机器人在家庭或办公环境中服务时需要理解人的情绪和意图。一个能推测“用户此刻想安静工作”的机器人不会在用户思考时强行播报提醒。这就是 MWM 在物理行动之上的社交价值。工程实现上建议先让机器人具备基本的物理交互能力再逐步加入心智推理。如果物理动作本身都不稳定意图推理做得再准确也无法带来体验提升。7.2 智能座舱与人车交互汽车座舱里的 DMS驾驶员监控系统和 OMS乘客监控系统正在从报警式交互走向主动交互。MWM 可以帮助车载系统理解驾驶员的疲劳程度、情绪波动和注意力分布从而在适当时机介入。需要注意的是车内环境传感器信号非常有限多为红外摄像头和麦克风。要在这类低算力环境中做完整 MWM必须做模型裁剪和蒸馏不能把云端模型直接照搬。7.3 自动驾驶决策自动驾驶离不开对其他交通参与者行为的预测。行人、骑行者、其他车辆驾驶员的“意图”是典型的准心智变量。MWM 可以提供更完整的预测架构把传统轨迹预测升级为“意图-行为”联合预测。但自动驾驶领域对可解释性和安全性要求极其严格。引入心智建模时必须保证不确定性能够显式量化并且出现不可信预测时系统可以回退到保守策略。7.4 数字人与智能助手数字人和语音助手如果有了心智建模能力对话就不会停留在“你问一句我答一句”的层面而是能感知用户的耐心程度、是否理解、是否有情绪波动并主动调整沟通方式。这也是 MWM 相对容易验证效果的落地场景因为它不需要处理复杂的物理动作。7.5 工程红线建议无论在哪类场景落地都有一些共通的工程原则数据合规优先。涉及人类行为、情绪、注意力数据的采集必须获得授权并且遵守数据保护要求。最小权限设计。系统能访问的数据只保留必要部分避免过度采集。可回退机制。心智推理可能出错系统必须准备降级方案。预测置信度低时使用保守策略。人机协作边界。心智建模的结果应该作为“辅助信号”不能替代人类在关键决策中的角色。8. 最佳实践与开发建议如果你准备在自己的项目中尝试类似 MWM 的方向下面这些建议应该对你有实际帮助。8.1 从场景出发不要从概念出发MWM 还是一个比较新颖的概念直接做“通用心智模型”在当前技术条件下很可能失败。更好的思路是选择一个具体场景例如“会议室助手机器人判断用户是否分心”在这个约束下定义心智状态的枚举集合再做推理模型。8.2 状态可解释比模型能打更重要物理世界的状态可以评测心智状态不行。因此在工程实现中每一步心智状态更新都要有中间输出。比如不仅输出“user is distracted”还要输出“依据连续 3 秒视线离开屏幕 操作停顿延长”。可解释的性能监控是后续排错的基础。8.3 联合建模时先保物理再谈心智一个连物理碰撞都处理不好的机器人即使准确预测了人类意图也无法安全执行。我的建议是物理世界模型是基线心智世界模型是增量。先确保系统在“心智模块关闭”时也能安全运行再逐步开启心智能力。8.4 建立意图预测的闭环评测在你的系统里让模型每次做出“心智预测”后在后续交互中记录真实结果形成一个意图预测反馈数据集。积累两周后用这批真实数据来评估你的推理模型是否有效。这比离线测试更能反映实际性能。8.5 注意数据偏差心智状态数据很容易产生偏差。例如不同文化背景的人表情含义不同不同年龄的人操作节奏差异很大。训练数据要尽量多样模型部署后还要按人群做分层监控。9. 从世界模型到心智世界的技术路线图最后我给出一个学习路径建议适合想深入研究世界模型和 MWM 方向的开发者。第一步补基础。先掌握深度学习基础、RNN/Transformer、强化学习基本概念以及目标检测、分割、多模态模型这些主流视觉模型。第二步做经典世界模型项目。不要直接冲 MWM先从视频预测或基于强化学习的动力学模型入手。建议实现一个简单的 Cart-Pole 世界模型用少量状态预测下一步状态理解内部状态表示的本质。第三步阅读多模态大模型相关工作。理解视觉和语言如何对齐这是心智推理的基础能力。第四步关注具身智能相关数据集与评测基准。通过真实机器人操作数据理解“感知-决策-控制”闭环中状态建模的难点。第五步在具体业务场景里试点 MWM 的轻量版本。可以只选一个心智状态维度比如“用户分心状态”把它接入现有系统做联合决策。MWM 要走的路还很长。但它指向的方向非常明确世界的构成不仅有物理实体还有人类的思维与意图。当 AI 模型开始认真对待这些隐变量整个智能系统的交互方式也会进入一个全新的阶段。这也许才是世界模型真正“智能”的时刻。