D2Plan: Dual-Agent Dynamic Global Planning for Complex Retrieval-Augmented Reasoning

Idea

D2Plan 用 Reasoner 维护 explicit global plan，用 Purifier 判断 retrieval relevance 并提取信息；每解决一项依赖就细化后续 sub-question，连续检索失败则重写剩余计划。通过 SFT cold start 和 plan-oriented RL，让 search chain 与 evidence filtering 共同服务多跳问答。

Research Problem

Search-augmented LLM 可能生成偏离目标的 query、漏掉必要 hop，也可能被无关检索片段 hijack reasoning；只奖励最后答对难以分别纠正 planning 与 evidence interpretation。论文研究如何显式维护跨步依赖，并训练适时、有效的 plan adaptation。

Insight

Global plan 提供跨步目标锚点，Purifier 则隔离 noisy observations；成功后的 refinement 与失败后的 revision 是不同操作，需要不同监督。论文的 initial-plan reward 只匹配 sub-question 数量与 annotated hop count，不能被解释为对计划语义正确性的完整验证。

Method

1. Reasoner 将 multi-hop question 分为有序 sub-questions，以 #A_j 表示对前序答案的依赖；Purifier 对 Top-5 retrieved passages 判断相关性，有关时抽取关键证据，无关时给简短摘要和 relevance feedback。
2. 每个 sub-question 最多尝试 K 次 retrieval；成功后填充 placeholders，使下一问题具体且 self-contained；达到失败阈值后修订包含当前问题在内的剩余 plan，寻找替代路径。
3. Teacher 分角色合成 trajectories，筛选最终 exact-match 且至少检索一次的样本；分别训练 Reasoner 的连贯规划轨迹和 Purifier 的 relevance/condensation input-output pairs。
4. SPlanRL 冻结 Purifier，仅用 GRPO 更新 Reasoner；reward 包含 hop-count-based initial planning、regex-based placeholder refinement、revision timing/后续检索质量与 answer F1，并由 format gate 约束。相关性 reward 依赖 Purifier 判断，不是额外人工 ground truth。