1. 项目概述当AI“助手”开始怀疑自己最近在折腾各种基于大模型的智能体Agents特别是那些能“看懂”屏幕、操作图形界面GUI的智能体时我遇到了一个挺有意思也相当棘手的问题。你让智能体去点一个按钮它信心满满地告诉你“点击了‘提交’”结果你一看屏幕它点的是旁边灰色的“取消”。或者你让它填写一个表单它信誓旦旦地说“已输入‘用户名’”实际上光标还在上一个输入框里闪动。这种“自信的犯错”在真实应用场景里是灾难性的尤其是当智能体被用于自动化流程、辅助操作或无障碍服务时一个错误操作可能导致数据丢失、流程中断甚至更严重的后果。这就引出了我们这次要深入探讨的核心智能体的不确定性量化。简单说就是如何让这些“计算机使用智能体”学会说“我不确定”。这不仅仅是让它在输出答案时附上一个0到1之间的置信度分数那么简单。对于视觉-语言模型驱动的GUI智能体而言它的“不确定”可能来源于多个层面是没看清屏幕上的图标是没理解你的自然语言指令还是对当前GUI的状态哪个窗口在前、哪个元素可点击判断有误因此我花了不少时间系统性地梳理和构建了一个针对“计算机使用智能体”的不确定性量化评测基准。这个基准横跨了视觉-语言模型的能力评估与GUI基础任务数据集的可靠性检验。它不是为了单纯地给模型排名次而是想回答几个更根本的问题当前主流的VLM在理解屏幕和指令时到底有多“靠谱”在不同的GUI任务如定位、描述、操作上不确定性体现在哪里我们该如何设计评估指标才能真实反映一个智能体在“犹豫”时的表现这不仅是学术问题更是决定这类智能体能否走出Demo、投入实用的关键门槛。2. 不确定性量化为什么智能体需要“自知之明”2.1 从“黑盒”到“可解释的决策”传统的自动化脚本或规则引擎其行为是确定性的对与错边界清晰。但基于视觉-语言模型的智能体不同它的决策过程更像一个“黑盒”。给定一张屏幕截图和一句指令“点击登录按钮”模型内部经历了复杂的特征提取、跨模态对齐和推理最终输出一个坐标或一个操作序列。我们通常只看到最终动作却不知道模型在做出这个决定时是“十拿九稳”还是“连蒙带猜”。不确定性量化就是试图给这个黑盒开一扇窗窥探其决策的“心理活动”。在AI领域不确定性通常分为两类认知不确定性源于模型本身知识的不足。比如模型从未在训练数据中见过某种新设计的、极简风格的按钮因此它无法准确识别。这种不确定性可以通过提供更多样化的数据来减少。偶然不确定性源于任务本身固有的随机性或数据的噪声。例如屏幕截图因网络加载问题有部分区域模糊或者用户指令存在歧义“处理那个文件”中的“那个”指代不明。这种不确定性通常无法完全消除。对于GUI智能体这两种不确定性交织在一起。一个模型可能因为认知不确定性而认错图标同时又因为截图中的偶然模糊而无法精确定位。量化不确定性就是让模型为它的每一个输出如边界框坐标、操作类型、描述文本分配一个可靠度分数。这个分数不应该只是一个装饰性的数字而应该与模型犯错的实际概率有良好的校准性——即当模型说“我有90%的把握”时它十次里应该有九次是对的。2.2 GUI智能体不确定性的独特来源与纯文本或纯视觉任务相比GUI智能体的不确定性来源更为复杂这也是专门为其设立评测基准的必要性多模态对齐噪声指令“打开设置菜单”需要与屏幕视觉元素齿轮图标、文字标签对齐。任何一方的理解偏差如VLM对“设置”的视觉概念不熟或对“打开”的动作映射不清都会引入不确定性。GUI状态动态性屏幕不是静态图片。元素可能正在加载半透明、被禁用灰色、被其他窗口遮挡或者状态随时变化如进度条。模型对当前“可操作状态”的判断存在根本的不确定性。动作序列的依赖性一个任务如“注册账号”通常包含一系列动作点击、输入、再点击。前序动作的成功与否直接影响后续动作的上下文和环境从而产生累积的、链条式的不确定性。基础定位的模糊性即使模型正确理解了要操作什么如“提交按钮”在将自然语言描述映射到屏幕具体像素坐标时也存在定位误差。这个误差的分布是均匀分散在按钮周围还是集中在正确位置本身就是一种空间不确定性。理解这些独特来源是我们设计有效评估指标和数据集的基础。一个鲁棒的智能体应该能在这些挑战面前清晰地表达出自己“哪里没把握”。3. 基准构建核心模型与数据集的双重考验我的这个基准核心是搭建一个“擂台”让不同的智能体在精心设计的、充满“陷阱”的GUI任务上接受考验并强制它们报告自己的不确定性。这个擂台有两根支柱待评估的视觉-语言模型和用于测试的GUI基础数据集。3.1 视觉-语言模型选型与不确定性接口设计目前能够用于GUI理解的VLM大致可以分为几类通用大规模VLM如GPT-4V、Gemini Pro Vision、Claude 3。它们能力强大能通过提示工程直接理解屏幕和指令但通常不直接提供不确定性估计且API调用成本高、延迟大。专用GUI理解VLM一些研究社区开源的、针对屏幕截图和网页DOM进行预训练的模型如ScreenAI、Pix2Act背后的模型。它们对GUI元素有更好的编码能力但通常需要额外的适配层才能输出不确定性。智能体框架中的感知模块许多开源智能体框架如OpenAI的“计算机使用”智能体、Meta的“可可”项目内置了VLM作为“眼睛”。这些模块有时会提供一些置信度信息但格式不统一。为了进行公平的基准测试我需要为这些模型设计统一的“不确定性接口”。这通常通过以下方式实现对于提供概率输出的模型直接使用其输出的置信度分数如目标检测中的类别概率、边框置信度。对于仅生成文本的模型采用“提示工程多次采样”的方法。例如让模型多次如10次回答同一个问题“这个元素的坐标是”然后统计答案的方差。方差越大说明模型越不确定。或者直接提示模型在答案后附上它的信心水平“以0-100的分数表示你对这个答案的信心”尽管这种自评估的校准性需要验证。构建代理模型在原始VLM之上训练一个轻量级的“不确定性预测头”。这个头以VLM的中间层特征为输入输出对当前任务的不确定性估计。这需要额外的标注数据即知道模型在哪些样本上会犯错。在我的基准实现中我同时采用了后两种方法以覆盖更广泛的模型类型。对于每次模型预测除了最终动作如CLICK [x, y]还会记录一个或多个不确定性分数U_actionU_location。3.2 GUI基础任务数据集不止于“看”更在于“做”数据集是基准的试金石。我选取并整合了多个具有代表性的GUI基础任务数据集并特意关注了那些能诱发不确定性的场景MiniWob经典的网页自动化基准。任务明确如“点击对话框的确定按钮”但元素可能很小、位置随机。不确定性主要体现在精确定位上。AITW更复杂的多步骤网页任务。指令如“在亚马逊上找到价格低于50美元的无线鼠标并加入购物车”。不确定性贯穿视觉搜索、状态判断、序列规划全过程。Android-In-The-Wild移动端GUI数据集包含真实的App截图和指令。这里的不确定性来源更丰富异形图标识别、手势操作映射滑动 vs 长按、移动端特有的弹窗和权限请求处理。VGA专注于视觉问答的GUI数据集。问题如“当前屏幕上有多少个输入框”或“‘忘记密码’链接是什么颜色”。这类任务直接考验模型对GUI结构的理解深度和细粒度感知其答案的不确定性反映了认知的局限。我并没有简单地将这些数据集拼接起来。而是为每个数据集的任务类型设计了对应的不确定性评估维度。例如对于点击任务评估坐标预测的不确定性对于问答任务评估答案正确性的不确定性对于多步骤任务则评估整个任务链成功率的预估不确定性。实操心得数据集的“污染”与清洗在整合不同来源的GUI数据集时一个巨大的坑是“任务泄露”和“静态假设”。有些数据集的屏幕截图是静态的但真实世界中的GUI是动态的。如果模型在训练时见过几乎相同的静态截图它可能会表现出虚高的确定性。因此在构建评测集时我对数据进行了严格的清洗和去重并引入了一些动态扰动如轻微的色彩抖动、模拟加载状态的半透明覆盖层等以更好地模拟真实环境中的偶然不确定性。4. 评估指标设计如何科学地衡量“不确定”设计评估指标是整个基准最核心、也最具挑战性的部分。我们不能只看任务成功率更要看模型的不确定性估计是否“诚实”和“有用”。我主要从三个层面构建评估体系4.1 不确定性校准度这是衡量模型“自知之明”的关键。一个校准良好的模型其声称的置信度应与其实际正确率相匹配。常用指标包括预期校准误差将预测按置信度分桶如0.9-1.0 0.8-0.9…计算每个桶内平均置信度与平均准确率之差的绝对值再按样本数量加权平均。ECE越低校准越好。可靠性曲线可视化图表。横轴为预测置信度纵轴为实际准确率。理想曲线是一条45度对角线。如果曲线大部分位于对角线下方说明模型过于自信反之则说明模型信心不足。在GUI任务中计算ECE需要针对不同任务类型进行适配。对于分类任务如判断元素类型可以直接使用。对于回归任务如预测坐标则需要先将连续的不确定性转换为离散的置信度分桶或者使用基于预测区间覆盖率的校准指标。4.2 不确定性引导的决策效用不确定性信息最终要服务于决策。一个好的不确定性估计应该能帮助智能体做出更优的决策例如寻求帮助当不确定性高于某个阈值时智能体不应盲目执行而应暂停并向人类用户请求确认“我不太确定是否要点这个红色的删除按钮您确认吗”。尝试备选方案在执行一个操作序列时如果对某一步不确定性很高智能体可以考虑采用不同的策略或路径。为了量化这种效用我设计了“基于不确定性的拒绝曲线”。横轴是模型拒绝执行任务的比率即当不确定性高于阈值时选择“放弃”纵轴是剩余被执行任务的平均成功率。一个理想的不确定性估计应该能产生一条快速上升的曲线即通过拒绝少量高不确定性的任务能大幅提升整体任务的成功率。曲线下的面积可以作为综合效用指标。4.3 任务特定不确定性分解为了更精细地诊断问题我将总的不确定性分解到GUI智能体任务的不同环节意图理解不确定性模型是否真正理解了用户的指令通过设计指令的“近义词”和“歧义句”变体测试模型输出的一致性。元素感知不确定性模型是否可靠地检测和识别了相关GUI元素通过计算目标检测任务中边框的置信度方差以及在不同图像增强模糊、噪声下模型预测的变化来衡量。状态判断不确定性模型对元素可操作性是否可点击、是否已选中的判断是否可靠这需要数据集中包含元素状态的细粒度标注。动作执行不确定性模型将内部决策转化为具体动作点击坐标、输入文本时其精度如何这可以通过动作执行后环境状态变化的预期与实际是否符合来间接衡量。通过这种分解我们可以清晰地看到一个智能体在哪个环节最“心虚”从而针对性地进行改进。例如如果发现“意图理解不确定性”很高那么可能需要增强指令的澄清机制如果“元素感知不确定性”高则可能需要引入更鲁棒的视觉编码器或数据增强。5. 基准测试初步结果与洞见基于上述框架我对几类代表性的模型/智能体进行了初步测试。测试环境模拟了真实的计算机桌面使用Playwright等工具自动化浏览器和桌面应用并截取屏幕供模型分析。以下是一些关键发现5.1 模型类型间的显著差异通用大VLM在开放域理解和复杂指令跟随上表现出色不确定性估计相对“平滑”。但它们对于GUI特有的细微差别如一个像素级的复选框是否被勾选表现出较高的偶然不确定性且由于是生成式模型其通过多次采样得到的方差估计计算成本极高。专用GUI VLM在元素检测和基础操作定位上确定性更高校准也更好。然而一旦遇到训练分布外的、设计新颖的UI组件其认知不确定性会急剧上升且由于模型规模通常较小它可能“沉默地失败”即给出高置信度的错误答案。集成智能体框架这类智能体通常结合了VLM、代码执行器和一些启发式规则。它们的不确定性来源最为复杂既有感知层面的也有规划层面的。测试发现许多框架的“不确定性传递”机制是缺失的——前一步的犹豫不会有效地影响后一步的决策导致错误累积。5.2 任务复杂度与不确定性的非线性增长一个直观但重要的发现是任务步骤数量与整体不确定性并非线性关系而是呈指数或阶梯式增长。一个两步骤的任务如1. 找到搜索框2. 输入关键词的成功率远高于两个单步任务成功率的乘积。因为步骤间存在状态依赖前序步骤中未被模型察觉的微小定位误差或状态误判会为后续步骤创造一个“错误”的初始环境从而极大地放大不确定性。这凸显了在评估多步骤智能体时序列不确定性评估的极端重要性。5.3 不确定性估计的“实用性鸿沟”当前即使模型能输出一个看起来合理的置信度分数这个分数在实际决策循环中的可用性仍然存在鸿沟。主要体现在阈值难以设定应该设定多高的不确定性阈值来触发“求助人类”这个阈值可能因任务关键性删除文件 vs 改变字体颜色、用户偏好追求效率 vs 追求准确而动态变化。静态阈值并不适用。不确定性表达不直观向最终用户呈现“置信度0.73”是没有意义的。需要将其转化为人类可理解的语言或直观的交互反馈例如高亮显示智能体“犹豫”的屏幕区域或者说“我找到三个可能是‘提交’的按钮分别是A、B、C您要点击哪一个”6. 面向未来的改进方向与实操建议基于这次基准构建和测试的经验我认为要让GUI智能体真正可靠地投入使用需要在以下几个方向持续努力6.1 模型层面构建原生支持不确定性的VLM未来的GUI专用VLM应该在架构设计之初就考虑不确定性量化。这不仅仅是添加一个输出头而是要在训练目标中引入对预测分布的约束例如采用证据深度学习让模型学习为预测分配一个狄利克雷分布从而同时输出分类结果和认知不确定性。对于定位任务可以输出坐标的概率分布图而非单个点。6.2 数据层面构建包含不确定性标注的GUI数据集当前的数据集大多只提供“正确答案”。我们需要新的标注范式除了标注正确的元素或动作还可以标注任务的模糊性等级这个指令是否存在多种合理操作元素的辨识难度这个按钮在视觉上是否容易与其他元素混淆替代性方案如果首选动作失败或不确定什么是合理的备选动作这样的数据集将直接用于训练模型的不确定性估计能力。6.3 系统层面设计不确定性的感知与处理闭环一个鲁棒的智能体系统应该将不确定性作为一个核心状态变量进行管理感知与量化如我们基准中所做在每个决策点产出不确定性。传播与更新在多步骤任务中将前序步骤的不确定性通过贝叶斯或其他概率模型传播到后续步骤的信念状态中。决策与行动基于当前的不确定性状态选择最优策略是执行、探索如尝试轻微不同的点击位置、还是求助。学习与校准根据行动的结果成功/失败持续在线更新和校准模型的不确定性估计模块。6.4 给开发者的实操建议如果你正在开发或集成GUI智能体以下是一些可以立即上手的建议强制要求置信度输出无论使用何种VLM在其输出层封装一个接口强制要求返回置信度分数。即使最初只是简单的基于Softmax概率或生成概率这也是建立不确定性意识的第一步。实施“安全网”策略为高风险操作如删除、确认支付、修改系统设置设置极高的不确定性阈值。当模型对这些操作不确定时必须中断流程并设计明确的用户确认环节。进行影子测试在将智能体部署到生产环境前先进行大规模的“影子模式”运行。即让智能体对真实用户会话进行分析和决策但不实际执行操作只是记录其决策和置信度并与人工标注的正确操作进行比对。这是校准不确定性阈值、发现模型盲区最有效的方法。可视化不确定性在调试和演示阶段将模型的不确定性可视化在屏幕截图上。例如用不同透明度的红色遮罩覆盖模型认为“可能”是目标元素的区域。这能极大地帮助开发者理解模型的“思维过程”和犯错模式。构建这个基准的过程让我深刻认识到让AI智能体从“能干”到“可靠”中间隔着一道名为“不确定性量化”的鸿沟。跨越这道鸿沟不能只靠更大更强的模型更需要从评估方法、数据构建到系统设计的全链路革新。只有当智能体学会审慎地表达“我可能错了”的时候我们才能真正放心地将更复杂的任务交给它们。这条路还很长但每一个清晰的基准、每一次严谨的评估都是向前迈出的坚实一步。