1. 从模型越用越傻说起医疗智能体为什么需要自我进化如果你部署过医疗问答类的智能体大概率遇到过这种尴尬上线第一周回答质量还不错到了第三周面对稍微复杂一点的病例描述它开始给出模棱两可甚至自相矛盾的建议。你翻日志、调提示词、换更大的底座模型效果提升有限过一阵子又回落。这不是模型坏了而是它根本没有从临床反馈中持续变强的机制。MedRSI 这个项目要解决的就是这个问题。它的全称是 Recursive Self-Improvement for Medical Agents via Clinically Aligned Self-Evolution翻译过来就是通过临床对齐的自我进化实现医疗智能体的递归自我改进。关键词有三个递归自我改进、医疗智能体、临床对齐的自我进化。这三个词拆开看都不新鲜但组合在一起指向的是一个很具体的技术命题——让医疗智能体在没有人工标注新数据的情况下依靠自身的推理轨迹和临床评价信号一轮一轮地把自己迭代得更准、更稳、更符合临床逻辑。它适合谁看如果你在做医疗 NLP、临床决策支持系统、智能问诊机器人或者你只是对智能体如何自我提升这件事感兴趣这篇内容都值得你花时间。我会从为什么医疗场景特别需要这种机制讲起然后拆解递归自我改进的底层逻辑再落到具体的实现路径、评价体系设计、踩坑经验最后聊聊这套思路能迁移到哪些别的领域。先说一个反直觉的结论医疗智能体的自我进化难点从来不在生成环节而在评价环节。通用领域的自我改进可以靠模型自己打分但医疗领域不行——一个错误的医学判断模型自己往往意识不到错在哪里。所以 MedRSI 这类方案的核心创新几乎都集中在如何构建一个临床可信的评价信号上。这个判断会贯穿全文你读完后面对任何自我改进类的项目都能用这个视角去审视它到底靠不靠谱。2. 递归自我改进在医疗场景的底层逻辑2.1 什么是递归不是重复训练而是带着评价的迭代很多人第一次听到递归自我改进会理解成模型自己训练自己。这个理解不准确而且容易走进死胡同。真正的递归自我改进核心是一个闭环当前版本的智能体产生推理轨迹 → 评价机制对这些轨迹打分 → 高分轨迹被提炼成新的训练信号 → 更新后的智能体产生新的轨迹 → 再评价、再提炼。每一轮的输入都包含上一轮的输出这才是递归的含义。用生活化的类比这就像一个住院医师的成长过程。他先独立写病历和诊断思路产生轨迹带教老师批改并指出问题评价他根据批改意见修正自己的诊断逻辑提炼信号下次遇到类似病例时用修正后的逻辑再写一遍更新后产生新轨迹。注意带教老师不会替他写病历只是给反馈。MedRSI 里的评价机制就扮演带教老师的角色而智能体本身既是学生也是那个不断重写病历的人。为什么医疗场景必须强调递归而不是一次性微调因为医学知识在更新病例的复杂组合在变化一次微调只能覆盖训练时见过的分布。递归迭代让智能体能够持续吸收新病例上的反馈哪怕这些病例没有标准答案只要有可靠的评价信号它就能往前走一步。2.2 医疗场景的特殊约束为什么通用自我改进方法直接搬过来会翻车通用领域的自我改进比如让模型自己生成题目、自己解答、自己判断对错在数学和代码任务上已经被验证有效。但搬到医疗场景会撞上三堵墙。第一堵墙是评价信号的可靠性。数学题的对错可以程序化验证代码可以跑测试用例但这个诊断建议是否合理没有编译器。模型自己给自己的医学推理打分很容易出现自信地犯错——它会给一个错误的推理打出高分因为它真心觉得那个推理是对的。这就是所谓的自我评价偏差。第二堵墙是错误的代价不对称。在通用领域一个错误答案顶多是用户体验差一点。在医疗场景一个被递归强化放大的错误倾向可能导致系统性地漏诊或误诊。所以 MedRSI 强调临床对齐意思是评价信号必须锚定在临床公认的准则上而不是模型的主观偏好。第三堵墙是长尾分布的稀疏性。罕见病、复杂合并症、药物相互作用这些情况在训练数据里本来就少模型在这些样本上的自我评价更不可靠。递归迭代如果不加控制会让模型在常见病上越来越强在罕见病上越来越偏。理解了这三堵墙你就能明白为什么 MedRSI 的设计里临床对齐的评价体系是绝对的核心而不是一个可选项。2.3 临床对齐的自我进化把带教老师拆成可计算的信号临床对齐这个词听起来抽象落到工程上其实是一组可操作的约束。它要求评价信号至少满足三个条件有临床依据、可复现、能区分优劣。有临床依据意味着评价标准要来自临床指南、专家共识、循证医学证据而不是模型拍脑袋。可复现意味着同一个推理轨迹不同时间、不同评价者给出的分数应该基本一致否则递归迭代会震荡。能区分优劣意味着评价信号要有足够的粒度不能只有对/错两档否则模型学不到为什么这个推理比那个好。在实际实现中临床对齐通常通过几种方式落地一是引入结构化的临床评分量表把诊断的合理性拆成若干维度分别打分二是用检索增强的方式让评价时能引用权威文献作为依据三是保留人类专家的抽检环节用少量高质量人工反馈校准自动评价的偏差。这三者组合起来才构成一个可信的带教老师。3. MedRSI 的自我进化闭环怎么搭3.1 轨迹生成让智能体把思考过程写出来递归自我改进的第一步是让智能体在回答医疗问题时不只输出结论还要输出完整的推理轨迹。这一步看似简单实则是整个闭环的地基。如果智能体只给一个建议做CT的结论评价机制无从判断它是基于什么逻辑得出的也就无法给出有指导性的反馈。轨迹生成的关键在于结构化。一条好的医疗推理轨迹通常包含患者主诉的解析、鉴别诊断的候选列表、每个候选的支持与反对证据、需要补充的检查、初步结论及其置信度。这种结构不是随便定的它对应的是临床思维的标准流程。让智能体按这个结构输出一方面方便评价机制逐项打分另一方面也让最终结果对医生可解释。这里有个实操细节值得注意轨迹的粒度要适中。太粗评价机制抓不到问题太细token 消耗爆炸而且容易让模型陷入无关细节。我的经验是把鉴别诊断的候选控制在三到五个每个候选的证据陈述控制在两三句这样既保留了推理的完整性又不至于让轨迹冗长到无法处理。3.2 评价机制临床对齐的评分信号从哪来这是整个 MedRSI 最核心、也最难做的部分。评价机制要回答一个问题给定一条推理轨迹它在临床上有多少分我见过几种常见的做法各有取舍。第一种是规则加量表把临床指南里的关键判据写成规则比如是否遗漏了危及生命的鉴别诊断是否推荐了有禁忌的检查命中就扣分。这种方式可解释性强、可复现但覆盖不了指南没写到的灰色地带。第二种是检索增强的模型评价让评价模型在打分前先检索相关文献和相似病例基于证据打分。这种方式覆盖面广但依赖检索质量检索错了评价就错了。第三种是专家抽检校准用少量人工标注去校准自动评价的偏移。MedRSI 的思路是把这几者结合规则做硬约束检索增强做软评价专家抽检做周期性校准。三者权重不是固定的而是根据任务类型动态调整。比如涉及药物相互作用的轨迹规则权重调高涉及罕见病鉴别的轨迹检索增强权重调高。这种动态加权是保证评价信号在长尾分布上仍然可靠的关键。3.3 信号提炼从高分轨迹里蒸馏出可训练的知识有了评价分数下一步是把高分轨迹转化成智能体能吸收的训练信号。这里有个容易踩的坑直接把高分轨迹拿去做监督微调效果往往一般因为高分轨迹里也混杂着冗余和偶然正确的成分。更稳的做法是对比提炼。把同一批问题下的高分轨迹和低分轨迹配对让智能体学习什么样的推理模式得分高、什么样的得分低。这种对比信号比单纯的模仿高分更有效因为它显式地告诉模型优劣的边界在哪里。具体实现上可以用偏好优化的思路把高分轨迹作为正例、低分轨迹作为负例构造偏好对。还有一个技巧是模式抽取。不要只让模型记住某条具体轨迹而是让它归纳出可迁移的推理模式。比如从多条高分轨迹里抽出遇到胸痛先排除心血管急症这样的通用策略。这种模式级的信号比轨迹级的信号泛化能力更强也更不容易过拟合到具体病例。3.4 迭代控制防止自我进化变成自我退化递归迭代最危险的地方在于错误会累积。如果某一轮的评价机制有偏差把一批错误轨迹判成了高分下一轮智能体就会强化这些错误再下一轮偏差被放大几轮之后系统可能彻底跑偏。这就是所谓的模型崩溃。MedRSI 在迭代控制上通常有几道保险。第一道是版本回滚机制每一轮更新后在固定的验证集上测性能如果下降就回滚到上一版。第二道是多样性保持防止模型在迭代中收敛到单一模式失去对复杂病例的适应能力。第三道是评价机制的独立校准评价模型和生成模型不能是同一个而且要定期用人工标注重新校准防止两者一起漂移。这几道保险听起来繁琐但缺一不可。我在实际项目里见过太多迭代三轮效果暴涨、第五轮开始崩的案例根源都是迭代控制没做好。4. 评价体系设计临床对齐到底怎么落地4.1 把临床指南翻译成可计算的评分维度临床对齐的第一步是把指南里的定性描述翻译成可打分的维度。举个例子一份关于社区获得性肺炎的诊疗指南里面写着应评估患者的严重程度以决定是否住院。这句话要变成评分维度需要拆解成是否评估了 CURB-65 或 PSI 评分、是否根据评分给出了住院或门诊的建议、建议是否与评分结果一致。每个维度给一个分数加权求和就是这条轨迹在严重程度评估上的得分。这个过程的关键是维度之间要正交。如果两个维度高度相关加权求和时会重复计分导致某些方面被过度放大。设计维度时最好先做一轮相关性分析把高度相关的维度合并或剔除。下面这张表是我在类似项目中用过的一个评分维度框架供参考评分维度权重评分依据常见扣分点鉴别诊断完整性0.25是否覆盖危及生命的候选遗漏急症、只列常见病证据引用准确性0.20证据是否支持对应结论证据与结论不匹配检查建议合理性0.20是否符合指南推荐过度检查、遗漏关键检查治疗建议安全性0.25是否规避禁忌与相互作用忽略药物禁忌推理逻辑连贯性0.10前后是否自洽结论与证据矛盾权重的设定不是拍脑袋而是根据错误的临床后果严重程度来定。治疗建议安全性权重最高因为一旦出错后果最严重推理逻辑连贯性权重最低因为它更多影响可解释性而非直接安全性。4.2 检索增强评价让打分有据可依纯靠模型参数里的知识打分容易受到模型自身偏见的影响。检索增强评价的思路是打分前先检索权威来源让评价有据可依。具体流程是把推理轨迹里的关键判断抽出来作为检索查询去医学文献库或指南库里找相关证据然后基于检索到的证据判断这个结论是否成立。这里有个实操难点检索查询的构造。如果直接把整条轨迹丢进去检索检索结果会很泛。更好的做法是抽取轨迹里的关键断言比如患者有青霉素过敏史因此不建议使用阿莫西林然后针对这个断言检索青霉素过敏 阿莫西林 禁忌。这种断言级的检索精准度高得多。检索增强评价的另一个价值是可追溯。每条评分都能附上支撑证据的来源医生复核时能快速判断评价是否合理。这在医疗场景里非常重要因为一个无法解释的评分医生不会信任也就不会采纳。4.3 专家抽检用少量人工反馈校准自动评价自动评价再精巧也会有系统性偏差。专家抽检的作用就是用少量高质量的人工反馈去发现并修正这些偏差。抽检不是随机抽而是分层抽样在自动评价给出高分和低分的轨迹里各抽一部分重点看那些自动评价与直觉不符的样本。抽检的频率不需要很高每轮迭代抽几十条就够。关键是抽检结果要反馈到评价机制的校准上。如果发现自动评价在某类病例上系统性偏高就调整那类病例的评分权重或检索策略。这种校准是周期性的不是一次性的因为随着迭代进行模型的错误模式会变化评价机制也要跟着调。我的经验是专家抽检最值得投入的地方是边界样本——那些自动评价在及格线附近徘徊的轨迹。这些样本最能暴露评价机制的模糊地带校准它们的收益也最大。5. 实操中真正会卡住你的几个地方5.1 轨迹质量不稳定为什么同一问题两次回答差很多递归自我改进依赖稳定的轨迹生成但实际中你会发现同一个问题智能体两次生成的推理轨迹可能差异很大。这种不稳定性会直接污染评价信号——评价机制今天给这条轨迹打高分明天类似的轨迹可能打低分迭代方向就乱了。造成不稳定的原因通常有三个采样温度设得太高、提示词里的结构约束不够强、模型对某些病例本身就没有稳定判断。对应的解法是把生成阶段的温度调低牺牲一点多样性换稳定性在提示词里用强结构约束明确要求按固定格式输出对那些模型本身判断不稳的病例先不纳入迭代等评价机制更成熟再处理。这里有个反直觉的点迭代初期不要追求轨迹多样性要追求稳定性。多样性是后期模型能力上来之后才需要考虑的事。初期最重要的是让评价信号干净否则递归会放大噪声。5.2 评价信号漂移迭代几轮后分数虚高这是最隐蔽的坑。迭代几轮后你会发现验证集上的自动评价分数一直在涨但人工抽检发现实际质量没怎么提升甚至下降了。这就是评价信号漂移——生成模型和评价模型在迭代中合谋了生成模型学会了迎合评价模型的偏好而不是真正提升临床质量。识别漂移的方法是保留一个固定的、人工标注的黄金测试集每轮迭代都在上面测。如果自动评价分数涨但黄金测试集分数不涨就是漂移了。解决漂移的办法是让评价模型和生成模型保持独立并且定期用黄金测试集重新校准评价模型。更激进的做法是每隔几轮换一次评价模型的版本打破两者的合谋。5.3 长尾病例被系统性忽略递归迭代有个天然倾向在数据多的常见病上越练越强在数据少的罕见病上原地踏步甚至退化。因为常见病的轨迹多、评价信号密集迭代的梯度主要来自它们。长尾病例的轨迹少评价信号稀疏在整体损失里被淹没。应对这个问题需要在迭代时做重加权。给长尾病例的轨迹更高的采样权重让它们在训练信号里占更大比重。同时评价机制对长尾病例要更宽容一些因为这类病例本身就没有标准答案过于严苛的评价会让模型不敢处理这类病例。这个平衡不好把握需要根据具体科室的病例分布来调。5.4 计算成本递归迭代不是免费的每轮迭代都要生成大量轨迹、跑评价、做训练计算成本不低。如果无节制地迭代成本会迅速失控。实际项目中我建议控制迭代频率和规模不是每来一批新病例就迭代而是积累到一定量、且评价机制校准到位后再迭代每轮迭代的轨迹数量也要控制宁可少而精不要多而杂。还有一个省成本的技巧是复用轨迹。同一批轨迹可以在多轮迭代里反复使用只要评价信号更新了旧轨迹就能产生新的训练价值。这样能显著降低轨迹生成的开销。6. 从医疗迁移出去这套自我进化思路还能用在哪MedRSI 的框架虽然是为医疗设计的但它的核心思路——在评价信号可靠的前提下做递归自我改进——可以迁移到很多领域。迁移的关键是判断目标领域的评价信号能不能做到临床对齐级别的可靠。法律咨询是个很接近的场景。法律推理同样有长尾、同样错误代价高、同样有权威依据法条和判例可以支撑评价。把临床指南换成法条库把病例换成案情整套闭环基本能复用。区别在于法律评价的灰色地带更多专家抽检的权重需要调高。金融风控也有类似结构。信贷决策的推理轨迹、基于监管规则和风险模型的评价、递归迭代优化决策逻辑这套逻辑是通的。但金融场景对可解释性的要求更高评价维度里要加入决策依据是否可向监管说明这一项。教育领域的自动批改和个性化辅导也能用这套思路。学生的解题轨迹、基于教学大纲的评价、迭代优化辅导策略。这个场景的好处是评价信号相对容易获取因为有标准答案的题目多可以先用有答案的题目校准评价机制再迁移到开放题。迁移时最容易忽略的一点是每个领域的临床对齐含义不同。医疗对齐的是临床指南法律对齐的是法条和判例金融对齐的是监管规则。直接照搬医疗的评价维度一定会水土不服。迁移前先想清楚你这个领域里什么信号是权威的、可复现的、能区分优劣的。7. 我在实际搭建这类系统时的一些体会搭过几轮之后我最大的体会是递归自我改进的上限由评价机制的质量决定而不是由生成模型的能力决定。很多人一上来就想换个更强的底座模型但如果评价机制不可靠换多强的模型都是在放大噪声。反过来评价机制做扎实了哪怕底座模型一般迭代几轮后的效果也能超过直接用一个强模型。第二个体会是慢就是快。迭代初期不要急着上大规模、高频率的迭代先把评价机制校准好用少量数据跑通闭环确认每一轮迭代都真的在提升而不是在漂移再逐步放大规模。我见过太多项目一上来就全量迭代结果第三轮就崩了回头排查发现是评价机制的一个小偏差被放大了。第三个体会是人工环节不能省。自动评价再强也需要专家抽检来校准。这个环节看起来是成本实际上是保险。省掉它短期省了人力长期可能因为一次漂移导致整个系统推倒重来。在医疗这种高 stakes 的场景这笔账一定要算清楚。最后一个体会是关于可解释性。递归迭代出来的智能体它的推理逻辑会越来越复杂如果不保留可追溯的评价依据医生根本不敢用。所以从第一天起就要把每条评价的支撑证据存下来让整个迭代过程可审计。这不仅是合规要求也是让系统真正被临床接受的前提。这套东西没有银弹每一轮迭代都是在和噪声、漂移、长尾做斗争。但只要评价信号守得住递归自我改进确实能让医疗智能体一轮比一轮更靠谱。