1. 项目缘起当GUI智能体需要“记住”更多最近在折腾移动端自动化测试和智能交互代理GUI Agent时我遇到了一个非常典型但又棘手的问题。我们团队训练了一个模型希望它能像真人一样操作手机App完成一系列任务比如“在购物App里找到某款商品并加入购物车”。一开始模型在简单的、线性的任务上表现尚可但一旦任务流程变长、界面元素变复杂、或者需要跨多个页面进行决策时它的表现就急转直下。最直观的感受是这个智能体像个“金鱼”只有7秒记忆。它可能刚刚在搜索框输入了关键词翻到下一页看到结果列表时就忘了自己要找什么或者在填写一个多步骤表单时填到第三步就忘了第一步选了哪个选项。这背后暴露的核心问题是当前大多数基于强化学习或模仿学习的GUI智能体缺乏有效的显式记忆Explicit Memory机制。它们通常依赖于模型的隐式状态表示这种表示容量有限且难以长期保持和精确回溯关键信息。当环境也就是手机屏幕发生变化或者需要执行一个包含多个子目标的复杂任务时这种记忆短板就成了性能瓶颈。与此同时训练这类智能体本身也是个老大难。你不可能拿成千上万台真机去让模型试错成本和时间都不可接受。因此可控、可扩展的虚拟环境Virtual Environments成为了必由之路。但构建这样的环境不仅要能高度还原真实手机的操作系统和App交互还要能方便地注入各种任务、生成海量训练数据、并精确控制环境的复杂度和随机性这其中的技术挑战一点也不小。STAMP这个项目正是瞄准了这两个痛点为移动端GUI智能体训练一个强大的显式记忆模块并且在一个可控、可扩展的虚拟环境中完成这一切。它的目标不是做一个通用的AI而是专门解决“在手机屏幕上做任务”这个场景下智能体“记不住、学得慢”的问题。接下来我就结合自己的实践和思考拆解一下STAMP可能涉及的核心技术、实现路径以及背后的设计逻辑。2. 显式记忆Explicit Memory为何是GUI智能体的刚需要理解STAMP的价值首先得搞清楚为什么隐式记忆在GUI任务中不够用以及显式记忆到底要“记”什么。2.1 隐式记忆的局限状态空间的灾难与任务上下文的丢失当前主流的GUI智能体无论是基于视觉模型如ViT还是基于UI元素树如Accessibility Tree其核心架构通常是一个编码器-策略网络Encoder-Policy Network的范式。编码器将当前屏幕截图或UI结构编码成一个固定维度的向量即状态表示策略网络基于这个向量输出动作如点击某个坐标、输入文本、滑动。这里的隐式记忆就存在于这个状态向量中以及策略网络内部的循环连接如LSTM、GRU或Transformer的自注意力机制中。它的局限非常明显容量瓶颈一个固定长度的向量能承载的信息量是有限的。当屏幕信息非常复杂例如一个满是商品和促销信息的电商首页或者历史状态很多时关键信息很容易在编码过程中被压缩或丢失。精确回溯困难隐式记忆是“模糊”的。你可以让模型学到“之前好像发生过类似的事情”但很难让它精确地回答“30步之前我在搜索框里输入的具体关键词是什么”这类问题。这对于需要引用历史输入或选择的任务至关重要。长期依赖建模能力弱尽管LSTM或Transformer设计上可以处理长序列但在实际训练中随着序列长度增加梯度消失/爆炸问题会使得模型难以学习到跨越很多步的依赖关系。在GUI交互中用户的目标和操作是高度序列化且上下文相关的。例如任务“将微信中张三发来的最新一张图片保存到手机相册”就隐含了多个必须被记忆的中间状态找到并进入与“张三”的聊天窗口、定位到“最新一张图片”、长按弹出菜单、选择“保存到相册”。智能体如果忘记了聊天对象是“张三”后续所有操作都将失去意义。2.2 显式记忆的设计蓝图一个外挂的“任务便签本”STAMP提出的显式记忆其核心思想是给智能体配备一个外部的、结构化的存储系统就像一个随时可以翻阅和记录的“任务便签本”。这个便签本应该能存储以下几种关键信息任务目标Goal用户最初发出的指令这是所有行动的“北极星”。已完成步骤History按顺序记录已经执行过的动作及其结果例如“点击了搜索图标”、“输入了‘蓝牙耳机’”、“在结果列表第三项点击了商品图”。关键观测Key Observations从历史屏幕中提取出的、对后续决策有长期影响的信息。例如在设置向导中当前选择的是“中文”还是“英文”在商品筛选时当前勾选的品牌和价格区间。未来计划Plan根据当前状态和任务目标分解出的下一步或下几步的子目标。这个记忆模块需要支持三种核心操作写入Write当智能体执行了一个关键动作或观测到一个关键信息时将其结构化地存入记忆。读取Read在每一步决策前智能体可以查询记忆获取完成任务所需的相关历史信息。更新Update记忆不是只增不减的。当任务进入新阶段某些旧信息可能变得无关紧要需要被归档或遗忘以避免记忆冗余和干扰。实现这样一个记忆模块技术上可能会借鉴神经图灵机Neural Turing Machine, NTM、可微分神经计算机Differentiable Neural Computer, DNC或者更现代的基于键值对的记忆网络Memory Networks的思想。但对于GUI场景关键在于如何将屏幕这个高维、非结构化的视觉/结构信息转化成适合记忆存储和检索的结构化表示。实操心得在设计记忆内容时切忌“什么都记”。初期我们尝试记录每一步的完整屏幕截图特征很快记忆就臃肿不堪检索效率低下。后来我们转向记录“动作-结果”对和提取出的关键属性如当前页面名称、焦点元素文本、用户输入值效果和效率都大幅提升。记忆的“粒度”设计是成败关键。3. 构建可控可扩展的虚拟环境STAMP的训练基石有了记忆模块的设计接下来就需要一个地方来训练它。这就是STAMP的另一个支柱虚拟环境。这里的虚拟环境不是指Unity或Unreal Engine做的3D游戏而是指一个能够模拟Android/iOS系统及App交互的软件仿真平台。3.1 为什么必须用虚拟环境成本与效率物理设备昂贵、难以大规模部署、测试执行慢。虚拟环境可以在服务器上并行运行成千上万个实例极大加速训练和数据收集过程。可控性你可以精确控制环境的每一个方面。例如可以轻松地重置环境到任意状态、注入特定的网络延迟或界面渲染错误、制造各种边界情况如弹窗、权限请求、网络异常从而系统地训练智能体处理各种异常的能力。可扩展性可以程序化地生成几乎无限多的训练任务和场景。例如通过修改App的UI布局、文本内容、元素位置可以创造出海量的、略有差异的界面提高模型的泛化能力。可观测性与可重复性虚拟环境可以提供完美的、确定性的底层状态信息如完整的UI元素树、精确的坐标这对于算法调试、效果分析和论文复现至关重要。3.2 虚拟环境的技术栈选型与构建构建这样一个环境通常有几种路径路径一基于现有模拟器/虚拟机Android使用Android官方提供的Android Emulator并通过ADBAndroid Debug Bridge或Google的uiautomator2库进行控制。这是最接近真实设备的方式兼容性最好但性能开销大并行化需要大量资源。iOS使用苹果的Simulator通过XCTest框架进行控制。这主要在macOS生态内限制较多。优点保真度高能运行真实的、未修改的App。挑战速度慢资源消耗大并行化管理复杂对GPU渲染的模拟可能不完美。路径二基于轻量级渲染引擎自建环境不完全模拟整个操作系统而是使用如Chromium、Flutter引擎或游戏引擎如Unity来直接渲染App的UI描述文件例如对于Web应用是HTML对于某些原生应用可能需要解析其UI描述文件但这通常很难。优点速度极快资源消耗低完全可控可以轻松实现UI的程式化变异。挑战需要为每种类型的App如React Native, Flutter, 原生构建对应的渲染器工程量大且无法运行闭源的商业App。路径三混合方案可能为STAMP所用结合路径一和路径二的优点。例如使用一个经过高度优化和裁剪的Android系统镜像运行在容器中如使用Android-x86或Android in Container技术并对其进行深度定制以提供更快的启动速度、更低的资源开销和更便捷的控制接口。同时环境可能内置一套“任务描述语言”允许研究者通过脚本快速定义复杂的、多步骤的GUI任务。对于STAMP这样一个研究项目我推测它很可能会采用或基于一个已有的、活跃的研究用虚拟环境框架例如AndroidEnv由DeepMind开源专门为强化学习研究设计的Android环境。它提供了基于真实Android Emulator的封装支持通过ADB发送动作和接收观测像素和UI层次结构。MiniWoB一个基于Web的虚拟环境包含大量简单的网页任务。虽然不直接针对移动端但其任务定义和评估范式很有参考价值。自定义框架STAMP团队很可能基于类似AndroidEnv但进行了深度定制以更好地支持长序列任务和记忆模块的评估。例如环境需要能生成一系列在逻辑上强关联的连续任务如注册-登录-修改资料并且能提供验证智能体记忆是否正确的“检查点”。踩坑实录我们早期直接用ADB操作模拟器发现动作执行延迟高且不稳定严重影响了强化学习中的奖励信号分配。后来转向使用uiautomator2的wrapped模式并让模拟器运行在-no-window和-gpu off模式下通过VNC远程查看才稳定了帧率和延迟。虚拟环境的“稳定性”和“确定性”是产出可靠实验结果的前提这块的投入往往比算法本身还多。4. STAMP训练框架的核心循环剖析结合了显式记忆模块M和虚拟环境ESTAMP的训练框架就可以勾勒出来了。其核心是一个交互式学习循环这个循环的设计直接决定了记忆模块能否被有效训练。4.1 智能体架构记忆增强的策略网络智能体Agent由两部分组成策略网络Policy Network, π负责根据当前观测o_t和从记忆M中读取的相关信息r_t生成下一个动作a_t。这个网络可能基于Transformer将观测和记忆信息共同编码后解码出动作。显式记忆模块Explicit Memory, M如上所述负责存储和检索结构化信息。在每一步t观测Observation环境E返回当前状态通常包括屏幕像素或渲染后的特征图和/或UI元素树的结构化信息。记忆读取Memory Read智能体根据当前观测和内部状态生成一个查询query从记忆M中读取出一组相关的记忆向量 r_t。动作生成Action Generation策略网络π将观测o_t和读取的记忆r_t融合输出动作a_t例如点击坐标(x,y)或输入文本“hello”。执行与反馈动作a_t发送给环境E执行。环境更新状态并返回新的观测o_{t1}、奖励rewardr_{t1}以及一个任务完成标志done。记忆写入/更新Memory Write/Update智能体根据刚刚执行的动作a_t、执行后的新观测o_{t1}以及获得的奖励决定是否向记忆M中写入新的信息或更新已有的记忆。写入的决策本身也可以由一个小的神经网络写入门控来学习。4.2 训练范式模仿学习与强化学习的结合如何训练这样一个包含可学习记忆模块的智能体单纯的传统方法可能不够。行为克隆Behavior Cloning, BC使用专家演示数据人类操作录屏进行监督学习。这可以快速让智能体学会基本的操作和简单的记忆模式例如记住刚刚输入过的文本。但BC无法学习到超越专家数据的策略也无法处理专家数据中未出现过的错误恢复情况。强化学习Reinforcement Learning, RL智能体通过与环境交互根据奖励信号如成功完成任务得1否则得0来优化策略。这是让智能体学会何时该记住什么以及如何利用记忆的关键。例如只有通过RL智能体才能学到“在填写验证码时记住前面输入的手机号是没用的应该记住的是图片里的字符”这样的高级记忆策略。逆强化学习Inverse RL或对抗式模仿学习Adversarial IL当定义完美的奖励函数很困难时可以从专家演示中反推出奖励函数再结合RL进行训练。STAMP很可能采用一种预训练微调或混合训练的范式阶段一预训练在大量简单的、短序列的GUI任务上使用行为克隆初始化策略网络和记忆模块的基本能力。此时记忆模块可能被训练成简单地记录每一步的“动作-界面”对。阶段二强化学习微调在更复杂的、长序列的任务上使用RL进行训练。奖励函数会鼓励任务完成同时也可能包含对“有效记忆利用”的辅助奖励例如如果智能体在后续步骤中正确引用了记忆中的信息给予小奖励。在这个阶段记忆模块的读写策略会得到精细化调整学会过滤噪音、存储关键信息。4.3 课程学习Curriculum Learning与环境可控性的体现这就是虚拟环境“可控性”大显身手的地方。我们可以设计一个由易到难的课程Level 1单页面任务。例如“点击登录按钮”。主要训练基本的元素定位和点击。Level 2短序列任务2-3步且信息在相邻页面间传递。例如“在搜索框输入‘咖啡’然后点击第一个结果”。开始引入对短期记忆的需求。Level 3中长序列任务5-10步需要记忆跨多个页面的信息。例如“在设置中打开蓝牙配对名为‘MySpeaker’的设备然后返回主屏幕”。训练记忆的保持和检索。Level 4包含干扰项的长序列任务。例如在执行上述配对任务过程中中途插入一个通知弹窗智能体需要关闭弹窗并回到原任务流程。训练记忆的抗干扰能力和任务恢复能力。Level 5多任务交织。在一个会话中连续完成多个独立任务测试记忆的隔离和组织能力。通过程序化地生成这些不同难度级别的任务并逐步增加环境的随机性如UI元素位置微小变化、网络延迟、加载等待可以系统化地提升智能体的鲁棒性和泛化能力。5. 从理论到实践实现STAMP的关键工程细节理解了框架我们来看看落地时有哪些魔鬼细节。这些细节往往决定了论文中漂亮的曲线能否在现实项目中复现。5.1 观测表示像素、UI树还是混合给智能体“看”什么直接影响其感知和记忆的内容。纯像素Pixels最通用任何App都适用包含最丰富的信息包括非结构化的图片、样式。但维度极高训练困难且模型需要从像素中自行解析出UI语义这本身就是一个难题。纯UI元素树UI Hierarchy通过Accessibility API获取。它直接提供了元素的语义信息如class“Button”,text“提交”,bounds[x1,y1,x2,y2]结构化程度高易于处理。但会丢失视觉样式信息且有些自定义控件或游戏界面可能无法正确获取树结构。混合表示Hybrid当前的主流方向。例如使用一个视觉编码器如ResNet处理屏幕截图得到视觉特征同时使用一个图神经网络GNN或Transformer处理UI树得到结构特征然后将两者融合。STAMP的记忆模块很可能主要基于UI树的结构化信息进行构建因为这样更容易定义“关键信息”的抽取和存储格式。5.2 动作空间设计离散、连续还是层次化智能体如何“操作”离散动作将屏幕划分为网格动作为“点击网格(i,j)”或“在元素IDX上执行操作Y点击、长按、输入”。这简化了学习问题但动作空间可能很大。连续动作直接输出点击的归一化坐标(x,y) ∈ [0,1]。更灵活但探索更难需要更精细的奖励设计。层次化动作高层动作如“导航到设置页”由子策略执行一系列底层动作点击、滑动完成。这非常契合人类的任务规划方式也便于记忆模块在高层进行规划记忆。STAMP很可能采用或探索层次化的动作表示因为这与显式记忆中对“子目标”的记录天然契合。5.3 记忆模块的具体实现猜想STAMP论文标题强调了“Training Explicit Memory”其记忆模块的实现可能是创新点。我推测可能采用以下一种或几种技术的结合键值记忆网络Key-Value Memory Network键Key可以是当前观测的某种抽象如当前页面名称、焦点元素的文本也可以是学习到的向量。值Value需要存储的具体信息如“输入的用户名是alice”、“当前筛选条件是价格100元”。查询Query根据当前观测生成用于与所有记忆的键计算相似度检索出最相关的几个值。这种结构简单有效易于解释可以看到记忆里存了什么。基于Transformer的序列记忆将整个交互历史动作、观测的嵌入向量作为一个序列输入一个Transformer编码器其内部的注意力机制本身就实现了某种形式的记忆。STAMP可能在此基础上增加一个外部记忆库让Transformer可以显式地读写这个外部库从而突破其上下文窗口的长度限制。可微分神经计算机DNC的变体DNC提供了非常完善的读写机制。但对于GUI任务其通用的记忆矩阵可能效率不高。STAMP可能会设计一种更适合GUI结构化数据的记忆组织方式例如将记忆按“任务”、“页面”、“元素”等维度进行分组。一个可能的具体工作流示例观测到新屏幕解析出UI树。记忆读取用当前页面名称如“com.example.app/.MainActivity”作为查询从记忆的“页面”组中读取上次离开此页面时存储的状态如“滚动位置中部”。策略网络决策结合当前UI树和读取的记忆决定点击“搜索框”。动作执行执行点击。观测更新环境跳转到搜索页面。记忆写入将“在主页面点击了搜索框”作为一个“历史动作”记录到记忆的“任务历史”组。同时将主页面当前的UI状态可选存储到“页面”组以备返回时使用。在搜索页面用户指令是“找咖啡”。智能体输入“咖啡”。记忆写入将“在搜索框输入‘咖啡’”作为关键信息存入记忆的“任务参数”组。后续在结果页面当需要判断哪个商品符合要求时策略网络可以查询记忆“本任务的目标商品关键词是什么”从而从“任务参数”组中读取到“咖啡”。5.4 奖励函数设计指引记忆的“指挥棒”在RL阶段奖励函数是教会智能体正确使用记忆的终极老师。除了稀疏的最终任务完成奖励1 for success, 0 otherwise设计合理的稠密奖励Dense Reward至关重要子目标奖励完成一个子目标如成功跳转到目标页面给予小奖励。这鼓励智能体进行任务分解而记忆模块自然可以用来存储这些子目标。进度奖励衡量当前状态离目标状态的“距离”减少量。这需要定义状态之间的距离度量在GUI中较难但可以近似用“与目标页面的相似度”或“剩余必需操作步骤的估计值”来代替。记忆利用奖励关键这是训练显式记忆的核心。可以设计如下正确引用奖励如果智能体在当前步骤执行的动作正确使用了记忆中的某个信息例如输入了记忆中的验证码则给予奖励。记忆简洁性惩罚对记忆库的总容量或写入频率施加一个小的负奖励鼓励智能体只记住真正必要的信息避免记忆垃圾。信息增益奖励如果当前写入记忆的信息在后续步骤中被证明对完成任务有帮助则追溯奖励该写入操作。这需要更复杂的信用分配机制。6. 评估、挑战与未来展望如何衡量STAMP的成功不仅仅是看任务成功率。6.1 多维度的评估体系任务成功率在保留的测试任务集上的最终完成率这是基本指标。样本效率达到相同成功率所需的环境交互步数或训练回合数。一个好的记忆模块应该能显著提升学习效率。泛化能力同App不同UI在同一个App但UI布局、主题颜色、文字内容发生变化后的版本上测试。跨App在训练中未出现过的、但功能类似的其他App上测试例如用微信训练在钉钉上测试“发送图片”任务。长尾任务在非常复杂、步骤极长50步或包含大量干扰的任务上测试。记忆质量评估专有记忆检索准确率在任务过程中设置“记忆问答”检查点例如问智能体“你刚才输入的手机号是多少”评估其回答正确率。记忆内容分析可视化或分析记忆库中存储的内容看是否是人类可理解的、与任务相关的关键信息。6.2 面临的主要挑战跨平台泛化Android和iOS的UI框架差异巨大Web应用又是另一套逻辑。一个在Android上训练的记忆模型能否直接迁移到iOS可能需要一个中间的统一UI表示层。动态内容与状态管理很多App的内容是动态加载、实时更新的如新闻列表、聊天记录。如何让记忆模块理解哪些是“静态布局”哪些是“动态内容”并只记忆后者中的关键信息模糊指令与复杂推理用户指令可能是模糊的如“帮我订一家好吃的餐厅”。这需要智能体结合记忆过去的饮食偏好、当前上下文地理位置和常识进行推理远超当前STAMP可能关注的范围。安全与伦理一个拥有记忆的GUI智能体如果被恶意使用可能会记录和泄露用户的敏感操作如输入密码、查看私密聊天。如何在设计之初就考虑隐私和安全例如实现记忆的本地化、加密或定期清除6.3 未来的演进方向STAMP为我们指明了一个有价值的方向。在此基础上我认为后续可能的发展包括多模态记忆不仅记忆UI操作还能记忆屏幕中的视觉内容例如“刚才看到的那件红色衣服”结合大型视觉-语言模型VLMs的能力。记忆的压缩与抽象让智能体学会对连续的操作进行“分块”记忆形成更高层次的“技能”或“脚本”从而进行更高效的规划和迁移。与人协作的记忆共享智能体的记忆可以以某种形式呈现给用户让用户知道“它记住了什么”并且用户可以对其进行编辑、修正或指导形成人机协同的交互范式。从虚拟到物理的桥梁最终这类技术不仅用于操作手机或许能扩展到操作其他图形化界面甚至通过机器人技术操作物理设备那时“显式记忆”就将成为智能体在复杂物理世界中生存和学习的核心能力之一。从我实际折腾移动端自动化的经验来看STAMP所针对的问题非常真实。当前业界很多自动化方案依然严重依赖硬编码的脚本和脆弱的元素定位无法适应App的频繁迭代。一个拥有强大记忆和学习能力的GUI智能体将是实现真正“自适应”自动化的关键。虽然STAMP是一个研究框架距离工业级应用还有距离但它提供的思路——用可控环境训练具有显式记忆的智能体——无疑是通向那个未来的一条扎实路径。如果你也在研究或工程中受困于GUI任务的复杂性和长流程不妨深入思考一下你的智能体是不是也缺一个这样的“外挂大脑”。