尧图网页设计 
1. 项目概述当智能体学会“复盘”检索增强的进化之路最近在搞大模型应用落地的朋友估计都绕不开一个词检索增强生成。简单说就是让模型在回答问题时能先去查查自己的知识库或者外部的文档而不是全凭“记忆”硬编。这招对付幻觉、提升事实准确性效果立竿见影。但当我们把RAG从一个简单的“问答工具”升级成一个能自主执行多步骤任务的智能体时问题就来了。想象一个场景你让一个智能体帮你写一份行业分析报告。它需要先检索相关市场数据再分析竞品动态最后整合成文。传统的奖励机制往往只看最终报告写得好不好结果奖励。这就好比只凭期末考试成绩给学生打分至于他平时是认真查资料、做笔记还是考前通宵突击一概不管。这种“唯结果论”容易导致智能体走捷径、甚至“作弊”——比如它可能学会生成一些看似合理、实则空洞无物的模板化报告来骗过评估器或者干脆跳过关键的检索验证步骤直接编造数据。“Evaluate-as-A-Action” 这个项目直译过来是“评估即行动”它瞄准的正是这个痛点。它的核心思想是让智能体在执行任务的过程中就学会自我评估和反思并把这种“过程质量”的评估转化为指导其下一步行动的“过程奖励”。这就像给智能体配备了一个随身的“教练”不仅在任务结束时打分更在每一步行动后都给出即时反馈“上一步检索的关键词不够精准”、“这一步的分析逻辑有跳跃”。通过这种方式智能体被引导去关注并优化其内部决策链条的每一个环节而不仅仅是最终输出。这个思路之所以重要是因为它试图弥合大模型强大的生成能力与可靠、可控的任务执行之间的鸿沟。对于企业级应用过程的可靠性、可解释性往往和结果一样重要。EvalAct框架正是朝着构建更稳健、更透明、更可信的检索增强智能体迈出的关键一步。2. 核心设计思路为何要奖励“过程”而非仅仅“结果”要理解EvalAct我们得先拆解传统方法的问题以及它提出的新范式。2.1 传统方法的局限结果奖励的“黑箱”与“捷径”在强化学习或基于人类反馈的优化中我们通常定义一个奖励函数 $R(o)$其中 $o$ 是任务的最终输出比如生成的报告、回答的答案。我们通过最大化期望累积奖励来训练智能体。对于检索增强智能体其行动序列 $a_1, a_2, ..., a_T$ 可能包括“检索[关键词]”、“分析[文档片段]”、“生成[大纲]”等。最终输出 $o$ 依赖于整个行动序列。这里存在两个核心问题奖励稀疏与延迟只有在冗长的行动序列全部完成后智能体才能获得一次奖励信号。这就像让一个新手走迷宫只有走到终点才知道对错中间没有任何指引学习效率极低。奖励误导与博弈如果奖励模型或人类评估者并非完美智能体可能会学会利用奖励模型的漏洞。例如它可能发现某些华而不实的短语或固定的内容结构更容易获得高分从而优化出“应试策略”而非真正提升任务解决能力。这直接损害了智能体的泛化性和鲁棒性。更重要的是过程不可见。我们无法知道智能体是因为进行了深度、准确的检索而成功还是侥幸蒙对了答案。这导致智能体的行为难以调试和信任。2.2 EvalAct的核心范式将评估本身构建为可执行的动作EvalAct提出了一个巧妙的转变将“评估”设计为智能体可以主动执行的一种特殊类型的“行动”。在智能体的行动空间中除了常规的“检索”、“生成”等工具调用外新增一个evaluate()动作。这个动作的输入是当前的任务上下文、历史行动以及中间状态输出则是一个对刚刚完成的子过程或当前状态的质量评分或优势估计。这个评分直接作为内在奖励即时地反馈给智能体。这就构建了一个“行动-评估-学习”的闭环智能体执行一个常规动作如检索。智能体可以选择或被要求执行一个evaluate()动作对刚才的检索效果进行自我评估。评估产生的分数作为过程奖励立即影响智能体的策略更新。智能体基于评估结果和奖励决定下一个动作。这种方法带来了几个根本性优势奖励稠密化在任务过程中产生了大量额外的奖励信号极大加速了学习。可解释性增强评估动作的输出如“检索相关性0.8”成为了理解智能体决策过程的一个窗口。引导探索智能体可以通过评估主动识别当前策略的不足并引导后续探索更有效的行动路径。2.3 关键技术组件Process-Calibrated Advantage Rescaling实现“评估即行动”的一个关键挑战是如何确保智能体自己给出的评估过程奖励与最终任务目标结果奖励是一致的如果智能体“自欺欺人”给自己每一步都打高分但最终结果却很差那就毫无意义。EvalAct框架中一个核心的技术创新是Process-Calibrated Advantage Rescaling。我们来拆解一下这个听起来很复杂的概念。Advantage优势函数在强化学习中优势函数 $A(s, a)$ 衡量的是在状态 $s$ 下执行动作 $a$相比遵循当前策略的平均表现要好多少。$A 0$ 表示该动作优于平均应被鼓励$A 0$ 则表示劣于平均应被抑制。Process-Calibrated过程校准这里的校准指的是将智能体自我评估产生的“过程奖励”与基于最终结果计算的“优势函数”进行对齐和缩放。目的是让过程奖励的尺度magnitude和方向sign能够真实地反映其对最终结果的贡献。Rescaling重新缩放具体做法是我们利用最终任务的成功与否或最终奖励的高低来计算一个全局的优势值 $A_{global}$。同时智能体在过程中每一步自我评估也会产生一个局部分数 $s_{local}$。PCAR算法会学习一个缩放因子 $\beta$使得调整后的过程奖励 $r_{process} \beta \cdot s_{local}$其期望与 $A_{global}$ 在轨迹层面相关联。简单说就是让“小步快跑”中积累的过程奖励总和能够合理地预测“最终冲刺”的成绩。实操心得理解PCAR的关键在于它不是一个硬性的规则而是一个学习目标。在训练中框架会同时优化智能体的策略如何行动和评估以及这个校准因子 $\beta$使得智能体学会打出“负责任”的分数——即打分高的步骤确实应该对最终好结果有贡献。这避免了自我评估的任意性。3. 实操构建一步步实现一个EvalAct智能体理论说得再多不如动手搭一个。下面我将以一个“技术文档问答与总结智能体”为例展示如何基于现有工具如LangChain, LlamaIndex和微调方法构建一个具备自我评估能力的智能体。假设我们的任务是给定一个技术问题如“如何在Kubernetes中配置持久化存储”智能体需要检索相关文档并生成一个准确、结构化的答案。3.1 环境准备与智能体基础框架搭建我们使用LangChain作为智能体编排框架选择GPT-4或Claude 3作为核心语言模型因为它们在工具调用和复杂推理上表现更佳。# 基础环境 pip install langchain langchain-openai chromadb pydantic首先定义智能体的核心状态和动作空间from typing import List, Dict, Any, Optional from pydantic import BaseModel from enum import Enum class AgentState(BaseModel): 智能体状态包含任务上下文和历史 query: str # 用户原始问题 retrieved_docs: List[str] [] # 检索到的文档片段 analysis_notes: List[str] [] # 分析过程中的笔记 current_output: str # 当前生成的答案草稿 step_history: List[Dict] [] # 记录每一步行动和评估 class ActionType(Enum): 定义智能体可执行的动作类型 RETRIEVE retrieve ANALYZE analyze GENERATE generate EVALUATE evaluate # 核心评估动作 class BaseAgent: def __init__(self, llm, retriever): self.llm llm self.retriever retriever self.state None def execute_action(self, action: ActionType, **kwargs): 执行一个动作并更新状态 # ... 具体工具调用逻辑 pass def run_evaluate(self, aspect: str) - float: 执行评估动作返回一个0-1的分数 # 这是核心后面详细实现 pass3.2 核心动作实现特别是evaluate()动作retrieve,analyze,generate这些动作的实现比较常规重点是evaluate()。我们需要让智能体能够评估不同方面的质量。class EvalActAgent(BaseAgent): # ... 继承其他方法 def run_evaluate(self, evaluation_aspect: str) - Dict[str, Any]: 执行自我评估。 evaluation_aspect: 评估方面如 retrieval_relevance, analysis_depth, answer_quality 返回一个包含分数和理由的字典。 prompt_template 你是一个严格的评估器。请根据以下任务上下文对刚刚完成的步骤在 **{aspect}** 方面的表现进行评估。 任务问题{query} 截至目前已检索到的文档{docs} 截至目前的分析笔记{notes} 当前输出草稿{output} 上一步执行的动作是{last_action} 请从0到1给出一个分数其中1代表完美符合要求0代表完全不符合。并简要说明打分的理由。 评估方面具体要求 - 若评估 retrieval_relevance: 关注检索到的文档与问题核心的相关性、覆盖度。 - 若评估 analysis_depth: 关注对检索内容的理解、归纳和逻辑连接是否深入。 - 若评估 answer_quality: 关注当前答案草稿的准确性、结构清晰度和完整性。 请以JSON格式输出{{score: float, reason: str}} prompt prompt_template.format( aspectevaluation_aspect, queryself.state.query, docsstr(self.state.retrieved_docs[-3:]), # 看最近3条 notesstr(self.state.analysis_notes[-3:]), outputself.state.current_output, last_actionself.state.step_history[-1] if self.state.step_history else None ) response self.llm.invoke(prompt) # 解析JSON响应 import json try: eval_result json.loads(response.content) eval_result[aspect] evaluation_aspect return eval_result except json.JSONDecodeError: # 如果模型没有返回标准JSON可以有一个fallback解析或给一个默认分 return {aspect: evaluation_aspect, score: 0.5, reason: Failed to parse evaluation.}注意事项让大模型给自己打分存在“自我欺骗”或评分标准不一致的风险。在实际应用中我们可以采用以下几种策略来缓解提供少量示例在prompt中给出1-2个不同分数区间的评估示例进行少样本引导。使用更细粒度的评估模板将评估方面拆解成多个可客观衡量的小问题如“检索的文档是否包含关键词X”“分析是否指出了文档Y中的矛盾”让模型回答是/否或程度再汇总成分数。引入外部验证器定期用一个小型的外部奖励模型或人工抽查来校验智能体自我评估的准确性并将偏差作为额外的训练信号。3.3 整合PCAR训练流程与奖励计算现在我们需要在一个完整的任务轨迹中整合评估动作和PCAR奖励计算。这里我们简化PCAR的概念展示一个训练循环的伪代码逻辑。假设我们使用类似GRPO的策略优化方法。GRPO的核心是直接利用模型本身作为奖励模型通过分组排序和策略梯度来优化。import numpy as np def simulate_episode(agent, query, max_steps10): 运行一个任务轨迹一个episode agent.state AgentState(queryquery) trajectory [] total_process_reward 0.0 for step in range(max_steps): # 1. 智能体根据策略选择动作 (这里简化按固定逻辑交替) if step % 2 0: action_type ActionType.RETRIEVE action_result agent.execute_action(action_type, queryagent.state.query) else: # 在执行常规动作后强制插入评估动作训练初期可以这样 action_type ActionType.EVALUATE # 评估上一个动作的质量 last_action agent.state.step_history[-1][type] if agent.state.step_history else start if retrieve in last_action: aspect retrieval_relevance elif analyze in last_action: aspect analysis_depth else: aspect answer_quality action_result agent.run_evaluate(aspect) # 过程奖励累加 process_reward action_result[score] total_process_reward process_reward action_result[reward] process_reward # 2. 记录到轨迹 trajectory.append({ step: step, action_type: action_type.value, result: action_result, state_snapshot: agent.state.copy() # 深拷贝可能需要 }) # 3. 判断任务是否完成例如生成了完整答案 if agent.state.current_output and len(agent.state.current_output) 200: break # 4. 任务结束计算最终结果奖励 final_answer agent.state.current_output final_reward calculate_final_reward(query, final_answer) # 这是一个外部函数可以是人工打分或规则打分 # 假设最终奖励是0或1成功/失败或一个连续分数 # 5. 应用PCAR思想进行奖励校准 # 我们使用一个简单的线性缩放调整过程奖励的权重使其期望与最终奖励相关 # 在真实训练中这个缩放因子beta是需要学习的参数 beta 0.2 # 初始缩放因子可学习 calibrated_process_reward beta * total_process_reward # 轨迹的总奖励 校准后的过程奖励 最终奖励 # 注意这里是一种简化。更严谨的PCAR会在每个时间步计算优势时使用校准后的过程奖励。 total_episode_reward calibrated_process_reward final_reward return trajectory, total_episode_reward, final_reward, total_process_reward def calculate_final_reward(query, answer): 计算最终奖励的简化示例 # 这里可以接入一个奖励模型或者使用规则 # 例如检查答案是否包含关键实体是否结构化等 rule_score 0.0 if persistentvolume in answer.lower() and persistentvolumeclaim in answer.lower(): rule_score 0.5 if 步骤 in answer or 1. in answer[:50]: # 检查是否有步骤结构 rule_score 0.3 if len(answer) 150: # 答案有一定长度 rule_score 0.2 return min(rule_score, 1.0)在真实的GRPO训练中我们会收集多个这样的轨迹根据轨迹的总奖励对生成的响应或动作序列进行分组排序然后使用策略梯度更新模型的策略使其更倾向于产生高奖励轨迹对应的行为。PCAR的缩放因子 $\beta$ 也可以作为一个可训练的参数与策略一同优化使得过程奖励的尺度自动适应最终任务的目标。4. 经验总结与避坑指南在实际尝试实现EvalAct理念的过程中我踩过不少坑也积累了一些不一定在论文里会写的经验。4.1 评估动作的设计平衡频率与开销问题应该在每一步之后都评估吗评估本身也是需要调用LLM的成本高昂。经验采用关键节点评估。不必每一步都评而是在关键的决策点或阶段转换点进行评估。例如在完成一轮检索后评估“检索相关性”。在完成初步分析后评估“分析深度”。在生成第一版草稿后评估“答案完整性”。这种设计既提供了必要的过程反馈又控制了成本。技巧可以让智能体自己决定何时需要评估。在动作空间中增加一个decide_if_evaluate()的元动作让模型根据不确定性或历史表现来判断是否需要自我检查。这本身也是一个有趣的学习目标。4.2 自我评估的偏差与校准问题模型自我感觉良好但实际效果差。排查定期进行“评估的评估”。随机采样一批轨迹不仅看最终结果也把智能体每一步的自我评估分数拿出来让人类或一个更可靠的校验模型去评判这个分数是否合理。计算自我评估分数与外部评判之间的相关系数如Spearman等级相关。如果相关性很低说明自我评估失效了。解决强化评估提示工程在评估提示中提供更具体、更客观的标准甚至使用思维链要求模型先列出评估依据再打分。引入多视角评估对于关键步骤可以让智能体从不同角度如“用户视角”、“专家视角”分别评估然后综合。PCAR的动态调整如果发现过程奖励与最终奖励长期不匹配可以更激进地调整PCAR的缩放因子或者在损失函数中增加一个惩罚项专门惩罚自我评估与外部评估的偏差。4.3 与GRPO等优化算法结合时的稳定性问题GRPO等基于排序的策略优化方法对奖励的尺度比较敏感。当同时存在过程奖励密集但可能噪声大和结果奖励稀疏但相对准确时训练容易不稳定。实操心得奖励归一化在每个训练批次内对所有的轨迹总奖励进行归一化减去均值除以标准差这是一个稳定训练的通用技巧。分阶段训练初期可以主要依赖过程奖励进行学习让智能体快速掌握基本技能。中后期逐渐提高结果奖励的权重或者引入更严格的外部奖励模型引导智能体对齐最终目标。设置奖励上限对单步过程奖励设置一个合理的上限比如0.1防止智能体通过“刷”一些容易得高分的简单评估来累积虚假优势。4.4 领域适配与扩展性EvalAct不是一个僵化的框架其核心思想可以灵活适配不同领域。客服对话智能体评估动作可以设计为评估“本轮回复是否解决了用户的核心问题”、“语气是否恰当”、“是否主动询问了必要信息”。代码生成智能体评估动作可以评估“生成的函数签名是否合理”、“代码是否包含了必要的异常处理”、“算法复杂度是否最优”。研究分析智能体评估动作可以评估“信息来源的可靠性”、“论证逻辑的严谨性”、“结论的创新性”。关键在于将你对“好过程”的领域知识具象化为一套可评估的、可量化的方面并设计相应的提示词来引导LLM进行自我审视。这个过程本身就是对智能体能力边界和任务理解的一次深度挖掘。构建一个真正有效的、具备自我评估能力的智能体目前仍然处于探索的前沿。EvalAct提供了一条极具潜力的路径将评估内化为智能体认知循环的一部分。它不再是一个被动的、外部的评判而是驱动智能体持续改进的内在动力。虽然实现起来在提示工程、奖励设计和训练稳定性上都有挑战但每一次尝试都让我们离创造更可靠、更智能的AI伙伴更近一步。我个人的体会是与其追求一个在基准测试上分数最高的模型不如投入精力设计一个善于自我反思、能从过程中学习的智能体系统后者在复杂多变的真实世界中往往展现出更强的适应力和生命力。 EvalAct框架：让检索增强智能体学会自我评估与过程优化
1. 项目概述当智能体学会“复盘”检索增强的进化之路最近在搞大模型应用落地的朋友估计都绕不开一个词检索增强生成。简单说就是让模型在回答问题时能先去查查自己的知识库或者外部的文档而不是全凭“记忆”硬编。这招对付幻觉、提升事实准确性效果立竿见影。但当我们把RAG从一个简单的“问答工具”升级成一个能自主执行多步骤任务的智能体时问题就来了。想象一个场景你让一个智能体帮你写一份行业分析报告。它需要先检索相关市场数据再分析竞品动态最后整合成文。传统的奖励机制往往只看最终报告写得好不好结果奖励。这就好比只凭期末考试成绩给学生打分至于他平时是认真查资料、做笔记还是考前通宵突击一概不管。这种“唯结果论”容易导致智能体走捷径、甚至“作弊”——比如它可能学会生成一些看似合理、实则空洞无物的模板化报告来骗过评估器或者干脆跳过关键的检索验证步骤直接编造数据。“Evaluate-as-A-Action” 这个项目直译过来是“评估即行动”它瞄准的正是这个痛点。它的核心思想是让智能体在执行任务的过程中就学会自我评估和反思并把这种“过程质量”的评估转化为指导其下一步行动的“过程奖励”。这就像给智能体配备了一个随身的“教练”不仅在任务结束时打分更在每一步行动后都给出即时反馈“上一步检索的关键词不够精准”、“这一步的分析逻辑有跳跃”。通过这种方式智能体被引导去关注并优化其内部决策链条的每一个环节而不仅仅是最终输出。这个思路之所以重要是因为它试图弥合大模型强大的生成能力与可靠、可控的任务执行之间的鸿沟。对于企业级应用过程的可靠性、可解释性往往和结果一样重要。EvalAct框架正是朝着构建更稳健、更透明、更可信的检索增强智能体迈出的关键一步。2. 核心设计思路为何要奖励“过程”而非仅仅“结果”要理解EvalAct我们得先拆解传统方法的问题以及它提出的新范式。2.1 传统方法的局限结果奖励的“黑箱”与“捷径”在强化学习或基于人类反馈的优化中我们通常定义一个奖励函数 $R(o)$其中 $o$ 是任务的最终输出比如生成的报告、回答的答案。我们通过最大化期望累积奖励来训练智能体。对于检索增强智能体其行动序列 $a_1, a_2, ..., a_T$ 可能包括“检索[关键词]”、“分析[文档片段]”、“生成[大纲]”等。最终输出 $o$ 依赖于整个行动序列。这里存在两个核心问题奖励稀疏与延迟只有在冗长的行动序列全部完成后智能体才能获得一次奖励信号。这就像让一个新手走迷宫只有走到终点才知道对错中间没有任何指引学习效率极低。奖励误导与博弈如果奖励模型或人类评估者并非完美智能体可能会学会利用奖励模型的漏洞。例如它可能发现某些华而不实的短语或固定的内容结构更容易获得高分从而优化出“应试策略”而非真正提升任务解决能力。这直接损害了智能体的泛化性和鲁棒性。更重要的是过程不可见。我们无法知道智能体是因为进行了深度、准确的检索而成功还是侥幸蒙对了答案。这导致智能体的行为难以调试和信任。2.2 EvalAct的核心范式将评估本身构建为可执行的动作EvalAct提出了一个巧妙的转变将“评估”设计为智能体可以主动执行的一种特殊类型的“行动”。在智能体的行动空间中除了常规的“检索”、“生成”等工具调用外新增一个evaluate()动作。这个动作的输入是当前的任务上下文、历史行动以及中间状态输出则是一个对刚刚完成的子过程或当前状态的质量评分或优势估计。这个评分直接作为内在奖励即时地反馈给智能体。这就构建了一个“行动-评估-学习”的闭环智能体执行一个常规动作如检索。智能体可以选择或被要求执行一个evaluate()动作对刚才的检索效果进行自我评估。评估产生的分数作为过程奖励立即影响智能体的策略更新。智能体基于评估结果和奖励决定下一个动作。这种方法带来了几个根本性优势奖励稠密化在任务过程中产生了大量额外的奖励信号极大加速了学习。可解释性增强评估动作的输出如“检索相关性0.8”成为了理解智能体决策过程的一个窗口。引导探索智能体可以通过评估主动识别当前策略的不足并引导后续探索更有效的行动路径。2.3 关键技术组件Process-Calibrated Advantage Rescaling实现“评估即行动”的一个关键挑战是如何确保智能体自己给出的评估过程奖励与最终任务目标结果奖励是一致的如果智能体“自欺欺人”给自己每一步都打高分但最终结果却很差那就毫无意义。EvalAct框架中一个核心的技术创新是Process-Calibrated Advantage Rescaling。我们来拆解一下这个听起来很复杂的概念。Advantage优势函数在强化学习中优势函数 $A(s, a)$ 衡量的是在状态 $s$ 下执行动作 $a$相比遵循当前策略的平均表现要好多少。$A 0$ 表示该动作优于平均应被鼓励$A 0$ 则表示劣于平均应被抑制。Process-Calibrated过程校准这里的校准指的是将智能体自我评估产生的“过程奖励”与基于最终结果计算的“优势函数”进行对齐和缩放。目的是让过程奖励的尺度magnitude和方向sign能够真实地反映其对最终结果的贡献。Rescaling重新缩放具体做法是我们利用最终任务的成功与否或最终奖励的高低来计算一个全局的优势值 $A_{global}$。同时智能体在过程中每一步自我评估也会产生一个局部分数 $s_{local}$。PCAR算法会学习一个缩放因子 $\beta$使得调整后的过程奖励 $r_{process} \beta \cdot s_{local}$其期望与 $A_{global}$ 在轨迹层面相关联。简单说就是让“小步快跑”中积累的过程奖励总和能够合理地预测“最终冲刺”的成绩。实操心得理解PCAR的关键在于它不是一个硬性的规则而是一个学习目标。在训练中框架会同时优化智能体的策略如何行动和评估以及这个校准因子 $\beta$使得智能体学会打出“负责任”的分数——即打分高的步骤确实应该对最终好结果有贡献。这避免了自我评估的任意性。3. 实操构建一步步实现一个EvalAct智能体理论说得再多不如动手搭一个。下面我将以一个“技术文档问答与总结智能体”为例展示如何基于现有工具如LangChain, LlamaIndex和微调方法构建一个具备自我评估能力的智能体。假设我们的任务是给定一个技术问题如“如何在Kubernetes中配置持久化存储”智能体需要检索相关文档并生成一个准确、结构化的答案。3.1 环境准备与智能体基础框架搭建我们使用LangChain作为智能体编排框架选择GPT-4或Claude 3作为核心语言模型因为它们在工具调用和复杂推理上表现更佳。# 基础环境 pip install langchain langchain-openai chromadb pydantic首先定义智能体的核心状态和动作空间from typing import List, Dict, Any, Optional from pydantic import BaseModel from enum import Enum class AgentState(BaseModel): 智能体状态包含任务上下文和历史 query: str # 用户原始问题 retrieved_docs: List[str] [] # 检索到的文档片段 analysis_notes: List[str] [] # 分析过程中的笔记 current_output: str # 当前生成的答案草稿 step_history: List[Dict] [] # 记录每一步行动和评估 class ActionType(Enum): 定义智能体可执行的动作类型 RETRIEVE retrieve ANALYZE analyze GENERATE generate EVALUATE evaluate # 核心评估动作 class BaseAgent: def __init__(self, llm, retriever): self.llm llm self.retriever retriever self.state None def execute_action(self, action: ActionType, **kwargs): 执行一个动作并更新状态 # ... 具体工具调用逻辑 pass def run_evaluate(self, aspect: str) - float: 执行评估动作返回一个0-1的分数 # 这是核心后面详细实现 pass3.2 核心动作实现特别是evaluate()动作retrieve,analyze,generate这些动作的实现比较常规重点是evaluate()。我们需要让智能体能够评估不同方面的质量。class EvalActAgent(BaseAgent): # ... 继承其他方法 def run_evaluate(self, evaluation_aspect: str) - Dict[str, Any]: 执行自我评估。 evaluation_aspect: 评估方面如 retrieval_relevance, analysis_depth, answer_quality 返回一个包含分数和理由的字典。 prompt_template 你是一个严格的评估器。请根据以下任务上下文对刚刚完成的步骤在 **{aspect}** 方面的表现进行评估。 任务问题{query} 截至目前已检索到的文档{docs} 截至目前的分析笔记{notes} 当前输出草稿{output} 上一步执行的动作是{last_action} 请从0到1给出一个分数其中1代表完美符合要求0代表完全不符合。并简要说明打分的理由。 评估方面具体要求 - 若评估 retrieval_relevance: 关注检索到的文档与问题核心的相关性、覆盖度。 - 若评估 analysis_depth: 关注对检索内容的理解、归纳和逻辑连接是否深入。 - 若评估 answer_quality: 关注当前答案草稿的准确性、结构清晰度和完整性。 请以JSON格式输出{{score: float, reason: str}} prompt prompt_template.format( aspectevaluation_aspect, queryself.state.query, docsstr(self.state.retrieved_docs[-3:]), # 看最近3条 notesstr(self.state.analysis_notes[-3:]), outputself.state.current_output, last_actionself.state.step_history[-1] if self.state.step_history else None ) response self.llm.invoke(prompt) # 解析JSON响应 import json try: eval_result json.loads(response.content) eval_result[aspect] evaluation_aspect return eval_result except json.JSONDecodeError: # 如果模型没有返回标准JSON可以有一个fallback解析或给一个默认分 return {aspect: evaluation_aspect, score: 0.5, reason: Failed to parse evaluation.}注意事项让大模型给自己打分存在“自我欺骗”或评分标准不一致的风险。在实际应用中我们可以采用以下几种策略来缓解提供少量示例在prompt中给出1-2个不同分数区间的评估示例进行少样本引导。使用更细粒度的评估模板将评估方面拆解成多个可客观衡量的小问题如“检索的文档是否包含关键词X”“分析是否指出了文档Y中的矛盾”让模型回答是/否或程度再汇总成分数。引入外部验证器定期用一个小型的外部奖励模型或人工抽查来校验智能体自我评估的准确性并将偏差作为额外的训练信号。3.3 整合PCAR训练流程与奖励计算现在我们需要在一个完整的任务轨迹中整合评估动作和PCAR奖励计算。这里我们简化PCAR的概念展示一个训练循环的伪代码逻辑。假设我们使用类似GRPO的策略优化方法。GRPO的核心是直接利用模型本身作为奖励模型通过分组排序和策略梯度来优化。import numpy as np def simulate_episode(agent, query, max_steps10): 运行一个任务轨迹一个episode agent.state AgentState(queryquery) trajectory [] total_process_reward 0.0 for step in range(max_steps): # 1. 智能体根据策略选择动作 (这里简化按固定逻辑交替) if step % 2 0: action_type ActionType.RETRIEVE action_result agent.execute_action(action_type, queryagent.state.query) else: # 在执行常规动作后强制插入评估动作训练初期可以这样 action_type ActionType.EVALUATE # 评估上一个动作的质量 last_action agent.state.step_history[-1][type] if agent.state.step_history else start if retrieve in last_action: aspect retrieval_relevance elif analyze in last_action: aspect analysis_depth else: aspect answer_quality action_result agent.run_evaluate(aspect) # 过程奖励累加 process_reward action_result[score] total_process_reward process_reward action_result[reward] process_reward # 2. 记录到轨迹 trajectory.append({ step: step, action_type: action_type.value, result: action_result, state_snapshot: agent.state.copy() # 深拷贝可能需要 }) # 3. 判断任务是否完成例如生成了完整答案 if agent.state.current_output and len(agent.state.current_output) 200: break # 4. 任务结束计算最终结果奖励 final_answer agent.state.current_output final_reward calculate_final_reward(query, final_answer) # 这是一个外部函数可以是人工打分或规则打分 # 假设最终奖励是0或1成功/失败或一个连续分数 # 5. 应用PCAR思想进行奖励校准 # 我们使用一个简单的线性缩放调整过程奖励的权重使其期望与最终奖励相关 # 在真实训练中这个缩放因子beta是需要学习的参数 beta 0.2 # 初始缩放因子可学习 calibrated_process_reward beta * total_process_reward # 轨迹的总奖励 校准后的过程奖励 最终奖励 # 注意这里是一种简化。更严谨的PCAR会在每个时间步计算优势时使用校准后的过程奖励。 total_episode_reward calibrated_process_reward final_reward return trajectory, total_episode_reward, final_reward, total_process_reward def calculate_final_reward(query, answer): 计算最终奖励的简化示例 # 这里可以接入一个奖励模型或者使用规则 # 例如检查答案是否包含关键实体是否结构化等 rule_score 0.0 if persistentvolume in answer.lower() and persistentvolumeclaim in answer.lower(): rule_score 0.5 if 步骤 in answer or 1. in answer[:50]: # 检查是否有步骤结构 rule_score 0.3 if len(answer) 150: # 答案有一定长度 rule_score 0.2 return min(rule_score, 1.0)在真实的GRPO训练中我们会收集多个这样的轨迹根据轨迹的总奖励对生成的响应或动作序列进行分组排序然后使用策略梯度更新模型的策略使其更倾向于产生高奖励轨迹对应的行为。PCAR的缩放因子 $\beta$ 也可以作为一个可训练的参数与策略一同优化使得过程奖励的尺度自动适应最终任务的目标。4. 经验总结与避坑指南在实际尝试实现EvalAct理念的过程中我踩过不少坑也积累了一些不一定在论文里会写的经验。4.1 评估动作的设计平衡频率与开销问题应该在每一步之后都评估吗评估本身也是需要调用LLM的成本高昂。经验采用关键节点评估。不必每一步都评而是在关键的决策点或阶段转换点进行评估。例如在完成一轮检索后评估“检索相关性”。在完成初步分析后评估“分析深度”。在生成第一版草稿后评估“答案完整性”。这种设计既提供了必要的过程反馈又控制了成本。技巧可以让智能体自己决定何时需要评估。在动作空间中增加一个decide_if_evaluate()的元动作让模型根据不确定性或历史表现来判断是否需要自我检查。这本身也是一个有趣的学习目标。4.2 自我评估的偏差与校准问题模型自我感觉良好但实际效果差。排查定期进行“评估的评估”。随机采样一批轨迹不仅看最终结果也把智能体每一步的自我评估分数拿出来让人类或一个更可靠的校验模型去评判这个分数是否合理。计算自我评估分数与外部评判之间的相关系数如Spearman等级相关。如果相关性很低说明自我评估失效了。解决强化评估提示工程在评估提示中提供更具体、更客观的标准甚至使用思维链要求模型先列出评估依据再打分。引入多视角评估对于关键步骤可以让智能体从不同角度如“用户视角”、“专家视角”分别评估然后综合。PCAR的动态调整如果发现过程奖励与最终奖励长期不匹配可以更激进地调整PCAR的缩放因子或者在损失函数中增加一个惩罚项专门惩罚自我评估与外部评估的偏差。4.3 与GRPO等优化算法结合时的稳定性问题GRPO等基于排序的策略优化方法对奖励的尺度比较敏感。当同时存在过程奖励密集但可能噪声大和结果奖励稀疏但相对准确时训练容易不稳定。实操心得奖励归一化在每个训练批次内对所有的轨迹总奖励进行归一化减去均值除以标准差这是一个稳定训练的通用技巧。分阶段训练初期可以主要依赖过程奖励进行学习让智能体快速掌握基本技能。中后期逐渐提高结果奖励的权重或者引入更严格的外部奖励模型引导智能体对齐最终目标。设置奖励上限对单步过程奖励设置一个合理的上限比如0.1防止智能体通过“刷”一些容易得高分的简单评估来累积虚假优势。4.4 领域适配与扩展性EvalAct不是一个僵化的框架其核心思想可以灵活适配不同领域。客服对话智能体评估动作可以设计为评估“本轮回复是否解决了用户的核心问题”、“语气是否恰当”、“是否主动询问了必要信息”。代码生成智能体评估动作可以评估“生成的函数签名是否合理”、“代码是否包含了必要的异常处理”、“算法复杂度是否最优”。研究分析智能体评估动作可以评估“信息来源的可靠性”、“论证逻辑的严谨性”、“结论的创新性”。关键在于将你对“好过程”的领域知识具象化为一套可评估的、可量化的方面并设计相应的提示词来引导LLM进行自我审视。这个过程本身就是对智能体能力边界和任务理解的一次深度挖掘。构建一个真正有效的、具备自我评估能力的智能体目前仍然处于探索的前沿。EvalAct提供了一条极具潜力的路径将评估内化为智能体认知循环的一部分。它不再是一个被动的、外部的评判而是驱动智能体持续改进的内在动力。虽然实现起来在提示工程、奖励设计和训练稳定性上都有挑战但每一次尝试都让我们离创造更可靠、更智能的AI伙伴更近一步。我个人的体会是与其追求一个在基准测试上分数最高的模型不如投入精力设计一个善于自我反思、能从过程中学习的智能体系统后者在复杂多变的真实世界中往往展现出更强的适应力和生命力。