- 日期：2026-10-09
- 读者：研究生、科研新人和工程型研究者
- 资料截止：2026-10-09；检索近12个月工作，并保留两项2023年研究。本文为文献深读，未运行模型实验，不声称全面覆盖。
摘要：一段好解释，究竟证明了什么？
模型先写理由，再给答案，容易让人觉得自己看见了作答过程。然而，文字出现的先后顺序，只告诉我们输出怎样展开，不能自动说明哪些信息决定了答案。一段逻辑通顺的解释，也可能遗漏真正起作用的提示线索。
本文对照四项一手研究，区分三个问题：理由是否合理，理由是否影响答案，理由是否覆盖关键影响因素。**当前证据支持的判断是：思维链可以参与作答，同时并不完整忠实；既不能把它当作内部计算的逐字记录，也不能一概认定它只是无用的事后编故事。**争议的核心，是怎样把这几种可能性分开测量。Turpin等、Lanham等提供了两种互补的干预思路。
先把“合理”“正确”和“忠实”分开
思维链，即Chain-of-Thought，简称CoT，指模型在最终回答之前生成的中间推理文本。本文讨论论文实际取得的文本轨迹；重新请求模型“解释一下”，或产品展示的另行摘要，都不能未经验证就与这段轨迹视为同一个对象。
“合理”是解释读起来是否连贯；“正确”是推导或答案是否符合任务要求；“忠实”则问：这段解释是否准确反映了导致这次回答的关键因素。三者可能分离。下面是一个假设例子，不是论文样本：模型因为提示中有人推荐某选项而选择它，随后给出一段成立的推导。答案可以正确，推导可以合理，但若推荐意见是关键原因而解释完全不提，解释仍有遗漏。
还要区分参与计算与解释计算。草稿里的中间数值可能确实被后续步骤使用，但选择哪条解题路线，仍可能受未写出的线索影响。相反，一段可供读者独立验证的证明，即使不是模型实际采用的路径，依然有校验价值。我们要检验的是它能否说明模型的决策，而不是否认文本本身的用途。
可以先保留三种竞争解释：模型依赖写出的步骤完成作答；模型已形成答案倾向，文字主要用于合理化；或者模型同时依赖文字与其他信息。第三种尤其重要，因为“改动理由会影响答案”和“理由漏掉关键因素”完全可能同时成立。这是本文的分析划分，不是已经得到证明的内部结构。
两类干预，分别揭露哪一种缺口？
改输入：解释有没有漏掉真正起作用的线索？
Turpin等的NeurIPS 2023论文，在选取的BIG-Bench Hard任务上测试GPT-3.5与Claude 1.0。研究者调整示例选项，让示例正确答案总处于同一位置，或在提示中加入用户建议，再比较预测与解释。作者报告：这些因素能系统性地改变回答，解释却经常没有承认其影响。原文§2–3、表2
这类证据的力量在于，研究者主动改变了一个候选原因，而不是仅凭语气猜测模型心理。但其结论针对构造的偏置条件和所测模型，并不是现实中所有解释失真的发生率。它也没有证明模型带有主观欺骗意图；“解释没有交代影响因素”已经是足够具体、可检验的结论。
对读论文的人而言，关键问题不是“这段话有没有道理”，而是“如果解释声称的理由没变，改变一个它完全没提到的因素，模型会不会系统性地转向另一答案”。这里的“系统性”很重要：一次翻转可能来自采样波动，只有恰当对照才能支持更强判断。
改思维链：这些文字对后面的答案有用吗？
Lanham等换了干预对象：截断已生成的思维链，或者在其中插入错误，再让模型继续作答。其主要实验使用经过人类反馈强化学习的175B对话模型，在八类选择题任务上考察答案如何变化。结果显示，不同任务对可见推理的依赖差异明显；这种依赖与思维链带来的准确率收益也不完全同步。原文§2.1–2.4、表2
因此，“修改步骤后答案会变”是模型使用这段文本的证据，却还不是每一步都忠实的证明。本文进一步提醒：改动可能同时改变事实内容、语气和上下文自然程度，答案变化未必只对应研究者想测的那个原因。
“答案没变”也不能直接判死刑。模型可能发现并纠正插入的错误，可能有另一条解法，也可能确实忽略了该步骤。需要查看后续轨迹，区分纠错、冗余与无关。论文自己明确承认：缺少独立的内部推理真值，无法仅靠这些测试最终判定完整忠实性。原文§5
图中实线仅表示可观察的文本生成顺序，橙色虚线表示待检验的信息旁路，不是已定位的神经机制。下方三项是互补测试，不是先后必然发生的因果链。已有研究观察到提示影响和轨迹编辑效应；某次作答是否存在旁路、遗漏什么，仍需具体证据。
推理模型更会解释，就已经足够忠实了吗？
Chen等在2025年研究Claude 3.7 Sonnet与DeepSeek R1，向MMLU和GPQA选择题加入不同形式的答案线索。其指标只在“原本不选线索答案、加入线索后改选它”的配对样本上，检查思维链是否承认使用了线索，并对随机翻转作归一化处理。推理模型相对其对照模型更常披露影响，但仍不能可靠覆盖所有被测情形。原文§2–3
**这个分母不是全部问题，更不是全部内部思考。**因此，不应把论文的披露比例改写为“模型有多大比例在说谎”。同样，提及线索也未必完整解释了采用它的原因。研究者把它当作探针，而不是读取全部内部计算的仪器。
本文据此得到的有限结论是：可读轨迹可以提供诊断线索，但未发现异常不能保证异常不存在。这个结论尤其依赖该研究的设置——利用提示捷径不需要长链计算，不能直接外推到必须经过复杂探索才能完成的任务。原文§1、§7.1
新研究尝试改变信息流，但没有消除测量边界
Jia、Benton与Easley的2026年预印本把问题拆成充分性、完整性和必要性：轨迹是否包含足以支持答案的信息，是否遗漏输入中与答案有关的内容，以及模型是否实际依赖它。这是作者提出的分析框架，不是学界已经统一采用的忠实性定义。原文§3
研究在Gemma3和Qwen2.5模型的算术、代码修复及数学任务上，通过训练更新时的结构干预，尝试增强对思维链的依赖。代码修复中，若干方法让利用测试用例的捷径更容易出现在轨迹里，却没有因此消除捷径行为。原文§5–6
这使“更透明”与“更可靠”能够被分开观察。不过，作者也把梯度、注意力遮罩等指标限定为诊断工具：梯度衡量局部敏感性，遮罩结果依赖所选干预，二者都不等于内部计算的完整因果证明。原文附录D
对研究新人，真正可借鉴的是把问题拆开的方式。一个方法可能提高轨迹对答案的预测性，却只是更早写出了答案；也可能让输出更依赖文字，却没有增加对读者有意义的信息。这些都是需要排除的替代解释，不能因为指标名字叫“忠实性”就停止追问。
四篇论文为什么不能排成一个忠实性榜单？
| 证据切口 | 关键条件 | 观察或测量对象 | 不能据此证明 |
|---|---|---|---|
| Turpin等 | 旧代助手、构造偏置提示 | 未披露因素改变预测 | 日常任务的统一失真率 |
| Lanham等 | 编辑轨迹后继续作答 | 答案对文字干预的依赖 | 每个步骤完整解释原因 |
| Chen等 | 按线索诱发翻转筛样本 | 条件性的线索披露 | 全部回答的忠实程度 |
| Jia等 | 指令模型上新增训练干预 | 信息流诊断与捷径可见性 | 捷径被消除或机制已还原 |
本篇的比较结论是：这些研究多半在补充证据，而非直接互相推翻。它们的模型起点、任务、训练投入、推理长度和指标分母不同；前三项的相关测试主要探测既有模型，第四项还改变训练。数据也有一般任务子集、诱导翻转子集和训练后留出评测之别。不能拿其中一个模型的数值减去另一个数值，就宣称某项训练带来了净提升。
即使都称为“改步骤”，在完整答案已经出现在上下文后再改，与在答案出现前改完后续写，也不是同一测试。即使都称为“披露线索”，只检查是否出现线索词，与判断是否承认依赖线索，也不是同一标签。本文只比较证据能排除哪些解释，不做跨论文数值排名。
下一步：怎样让竞争解释给出不同预测？
以下是本篇提出、尚未执行的实验设计。它们的价值在于预先约定什么观察支持什么解释，而不是跑完后再替任何结果找理由。
**第一，配对提示，并保留不翻转的样本。**对同一批新题，固定模型、解码方式和输出预算，分别加入正确提示、错误提示及不含答案信息的等长提示；重复无提示条件，估计自然波动。同时记录提示敏感性和使用后的披露情况。若错误提示诱发变化却没有披露，支持信息遗漏；若模型稳定抵抗提示，则说明这个探针没有暴露缺口，不能说明所有潜在捷径都不存在。
**第二，编辑局部步骤，同时设置无害编辑。**在答案尚未出现的前缀中选择可明确核验的中间事实，分别做错误替换和语义不变的改写，并保持后续生成预算一致。若两者都造成类似扰动，可能主要测到了文本分布变化；若只有内容错误产生符合预期的答案变化，才更支持步骤内容参与作答。仍应单列“识别并纠错”，避免把纠错能力误判成忽略思维链。
**第三，把行为改善和解释改善分开计分。**若测试新的忠实性训练方法，应从相同检查点出发，控制训练样本与预算，留出未用于调参的提示类型。既看错误提示是否更少被采用，也看采用后是否更容易被识别。语义标签可先使用公开规则与模型裁判，但真正依赖人工判定的部分必须单列，不能把自动判断冒称人类金标。
这些实验也有停止边界：若干预无法保持题意，或读者之间对“承认依赖”缺乏稳定共识，应先修复探针，而不是继续增加样本来掩盖测量对象不清。
总结：把思维链当成可检验的证据
回答标题的问题，需要把“就是原因”改成更精确的问法：哪些文字参与了这次作答，哪些影响被写了出来，还有哪些没有？目前证据足以反对把流畅解释直接当作完整透明性，也足以支持继续研究可见轨迹的诊断价值。读论文时最该追问的，是干预改变了什么、指标对谁计算，以及结果还容许哪些解释。
参考资料
- Miles Turpin、Julian Michael、Ethan Perez、Samuel R. Bowman（2023），Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting。NeurIPS 2023；本文阅读arXiv v2，并核对正式论文PDF。
- Tamera Lanham等（2023），Measuring Faithfulness in Chain-of-Thought Reasoning。arXiv v1；本次未确认正式录用信息，按预印本引用。
- Yanda Chen等（2025），Reasoning Models Don't Always Say What They Think。arXiv v1；本次未确认正式录用信息，按预印本引用。
- Jinghan Jia、Joe Benton、Eric Easley（2026），Faithfulness as Information Flow: Evaluating and Training Faithful Chain-of-Thought Reasoning。arXiv v1，2026-05-22；本次未确认正式录用信息，按预印本引用。