03 RLHF 有多关键造成了GPT和Claud不同的技术路线。原创 Caroline Caroline 真懂AI2026年2月15日 08:10在小说阅读器中沉浸阅读这一篇是整个系列里最关键的一篇之一因为它回答的是为什么模型看起来像“有性格”而且 GPT 和 Claude 的“性格”明显不同——从Reward 设计解释行为差异在长期使用中很多人都会形成一种直观印象GPT 更像一个“任务型助手” 更敢给结论 更倾向直接完成需求Claude 更像一个“谨慎型学者” 更爱解释 更容易提醒风险 更容易拒绝不确定或敏感请求这种差异常常被描述为“GPT 更激进Claude 更保守。”但问题是它们用的都是 Transformer预训练数据也都来自互联网那这种“性格差异”是从哪里来的答案几乎全部集中在一个阶段RLHFReinforcement Learning from Human Feedback以及更一般的reward 设计奖励函数设计。一、先说结论“性格”不是自发产生的而是被奖励出来的可以先给出一个核心结论GPT 和 Claude 的“性格差异”本质上不是模型结构差异而是在对齐阶段被奖励了不同的行为模式。如果用一句话概括GPT 被训练成“尽量完成任务的助手”Claude 被训练成“尽量不犯错的助手”。这不是道德差异而是优化目标差异。二、RLHF 在做什么不是教知识而是教“怎么回答”在预训练阶段模型学的是也就是学会像人类文本一样说话。但在 RLHF 阶段目标函数变成也就是说不再是“像不像人类文本”而是哪种回答更受偏好。这个偏好由人类标注员或 AI 反馈模型来给出。于是模型学到的不是事实本身而是什么样的回答更容易得高分。这一步实际上在塑造语气风格是否拒绝是否解释是否保守也就是我们感知到的“性格”。三、GPT 的 reward 设计任务完成优先从行为表现来看可以推断 GPT 的 reward 偏好大致是更奖励有用的结果明确的结论可执行的答案相对容忍推测性回答在不确定情况下仍给方案这会带来一种典型风格与其说“我不确定”不如给一个可能可行的解法。这就是为什么 GPT 更像工具型助手工程型代理问题解决器在 reward 的视角下GPT 在被训练时“完成任务”本身是高奖励行为。四、Claude 的 reward 设计风险规避优先相比之下Claude 的 reward 设计明显更偏向奖励安全谨慎解释充分承认不确定性强烈惩罚潜在有害内容过度自信误导性结论这会导致一个必然结果在模糊问题上选择“拒绝或弱回答”比“给一个可能错的答案”更容易得高分。于是你会感觉 Claude更像学者更像审稿人更像伦理委员这不是模型“胆小”而是它被训练成不犯错比给答案更重要。五、同一个 base model也可以变成两种“人格”一个非常重要但常被忽略的事实是如果只看 base model预训练模型GPT 和 Claude 的差异可能没有那么大。真正的分化发生在reward model 的训练偏好样本的构造PPO / DPO 等优化过程可以从优化目标上理解GPT 在最大化Claude 在最大化这两个 reward 的最优解本来就不同。于是一个收敛到“大胆完成任务”的策略一个收敛到“谨慎规避风险”的策略本质是在解同一个优化问题的不同版本。六、为什么 reward 设计会变成“性格”因为语言模型的输出空间是所有可能的文本序列。reward 在这个空间中定义了哪些输出是“好”哪些输出是“坏”久而久之模型会形成一种稳定的输出偏好分布。例如GPT 更容易选择“可以这样做……”Claude 更容易选择“我需要提醒你风险……”这种偏好在用户体验上就表现为像是“性格”。但在数学上它只是一个被 reward 塑形的概率分布。七、为什么这不是“谁更聪明”而是“谁被奖励成这样”很多争论会变成GPT 更聪明Claude 更安全但从训练角度看更准确的说法是它们在不同目标函数下做出了不同的最优策略。这类似于一个学生被奖励答对题目另一个学生被奖励不犯错误长期下来一个变得更敢猜一个变得更保守不是智商差异而是激励结构差异。八、回到这个系列的主线这一篇其实在回答整个系列的核心命题之一当数据和架构趋同差异来自哪里答案之一就是来自 reward 的设计。数据决定→ 模型“见过什么世界”reward 决定→ 模型“如何在这个世界中行动”GPT 与 Claude 的差异本质上是同一个语言模型框架在两种价值函数下收敛到了两种不同的行为策略。结语所以“为什么 GPT 和 Claude 会有不同‘性格’”不是因为它们的 Transformer 不一样也不是因为谁更聪明而是因为在对齐阶段它们被奖励了不同的行为模式。GPT 被训练成一个尽量完成任务的助手Claude 被训练成一个尽量不犯错的助手从这个角度看模型的“性格”不是情感属性而是 reward 设计的投影。