Verify Before You Commit: Towards Faithful Reasoning in LLM Agents via Self-Auditing

Idea

SAVER 在 Agent 把推理结果用于动作或 memory 前，生成结构不同的候选 belief、筛选互补候选、审计具体证据/逻辑缺陷并最小修复。它把推理质量从“多数候选一致”改为“每步有依据且满足修复验收条件”。

Research Problem

正确答案可能来自猜中或补救，流畅 CoT 也可能包含隐含前提、循环论证或不受证据支持的跳步。多个同源候选容易共享错误，整条重写又难确认原缺陷是否真的修好，因此最终答案准确率与 consensus 不足以诊断过程。

Insight

不同 persona 暴露不同结构性失败，再按结构多样性分配 audit 预算，可减少反复检查同一种错误。将 critique 转为具体步骤、证据与 acceptance criterion，并只修改受影响片段，有助追踪修复来源；其 faithfulness 是审计协议下的逻辑/证据支持，不等同于证明语言轨迹忠实揭示模型内部因果计算。

Method

1. 同一个 LLM 用不同 prompt persona 生成 claim+reasoning 候选，构成内部 reasoning coalition；没有独立参数化 Agent 或 agent-to-agent 通信，默认生成四个候选。
2. 提取 granularity、assumption、verification、global structure 特征，结合轻量 quality score 构建 kernel，用 k-DPP 选两个质量较好且结构互补的 belief 接受审计。
3. auditor 只使用任务、已声明前提、已验证事实和允许证据，定位 Missing Assumption、Invalid Precondition、Unjustified Inference、Circular Reasoning、Contradiction、Overgeneralization 六类违反及其步骤。
4. 把每个违反转换为修复约束和可检查验收条件，目标同时降低残余约束违反与 edit cost；反复 audit/repair，实验最多十轮，最终按质量减去加权残余违反选择执行 belief。
5. 在 HotpotQA、2WikiMHQA、MuSiQue、NQ、FEVER、Quoref 零样本比较 EM/F1，并以统一审计协议统计平均违反、Violation-Free Rate、Unfaithful Step Rate 和修复后残余；不进行任务特定 finetuning。