Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment

Idea

ReTAS 通过 Thesis–Antithesis–Synthesis 训练 agent 在失败诊断时先表达角色视角，再检查反面证据，最后输出 attribution 与 corrective action。目标是减少同一轨迹仅因 Actor/Observer prompt 不同而产生的归因翻转，并提高后续 Search、Revise、Confirm 决策质量。

Research Problem

Self-reflection 与 mutual auditing 并不天然客观：actor 可能把失败归为外部条件，observer 则偏向内部执行错误。论文研究这种 perspective-induced inconsistency 能否被测量，并通过有可验证 evidence sufficiency 的训练任务，使诊断更依赖证据而非角色立场。

Insight

Consistency 与 correctness 必须分开检验：在刻意模糊、没有确定 ground truth 的场景中只能测 perspective flip；训练正确归因则需要可检查的 evidence/answer conditions。对立视角的合成能作为学习支架，但其效果是任务中的经验发现，不代表模型具有人的心理动机。

Method

1. 构建 200 条 Ambiguous Failure Benchmark traces，对同一内容分别施加 Actor 与 Observer role prompts，强制选择 internal/external attribution，并统计 Vanilla AOA、Reverse AOA 与总 Flip。
2. 基于 FinQA 和 Spider 建立 retrieval→program synthesis 流程；gold evidence 不完整标 FalseExt，evidence 完整但 answer 错标 FalseInt，两者均满足标 True，形成具有操作性标签的训练数据。
3. Teacher 为每题生成 Defensive Actor 与 Critical Reviewer 两种 TAS trajectories，要求经 evidence verification 后收敛到相同 attribution，并输出 Search、Revise 或 Confirm action。
4. 先 SFT 学习 TAS format，再用 GRPO 组合 format reward、attribution-label reward 与 answer correctness reward；分别在两种任务上训练与评价，同时检查归因一致性和实际故障修复，而非只优化文本上的双视角一致。