ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Unveiling the Latent Directions of Reflection in Large Language Models

Unveiling the Latent Directions of Reflection in Large Language Models 论文《Unveiling the Latent Directions of Reflection in Large Language Models》总结与翻译一、文章主要内容该论文聚焦大型语言模型(LLMs)中的反思机制,突破以往多关注反思提示策略或强化学习目标的研究局限,从模型激活的潜在方向切入,探索反思的内在机制。核心研究框架反思层级划分:将反思分为三个层级,解决了反思行为缺乏结构化分析的问题无反思(No Reflection):模型被强制立即输出答案(如接收到“Answer”指令),直接沿用有缺陷推理的结论,不做修正,准确率极低(Qwen2.5-3B约5.1%,Gemma3-4B约14.7%)。内在反思(Intrinsic Reflection):指令无触发或停止反思的意图(如[EOS]、“#”“%”),模型自发继续推理,可能修正错误但效果不稳定,准确率居中(Qwen2.5-3B约29.5%,Gemma3-4B约33.5%)。触发反思(Triggered Reflection):通过明确提示(如“Wait”“Alternatively”“Check”)引导模型检查推理步骤并修正,准确率最高(Qwen2.5-3B约39.7%,
返回列表