Trust Within? Seek Beyond? Knowledge Boundary Aware Policy Optimization for Agentic Search

Idea

KbPO 用 parametric knowledge 与 retrieval quality 的组合决定 Agentic Search 应如何行动：两者可靠时整合，只有检索可靠时依赖 external evidence，只有内部知识可靠时使用 memory，两者都不足时 refusal。训练不仅奖励最后答对，也奖励 summary 中体现的策略与这一知识状态一致，使 Search、Answer、Refuse 成为可学习的行为选择。

Research Problem

仅以 final answer correctness 训练 search agent，可能奖励猜对、无必要搜索或盲信低质量 retrieval 等行为，也无法清楚区分该搜索还是该拒答。固定 refusal label 又容易和模型真实能力不一致。论文研究如何构建与 parametric certainty、retrieval quality 对齐的 supervision，让策略学习何时信任内部知识、何时借助外部证据。

Insight

同样的错误答案可能来自知识缺口或检索失败，不能用一个统一的拒答规则处理。作者将两类可靠性分开建模，再用四种 knowledge quadrant 规定目标行为。需要注意，parametric certainty 是训练样本上利用 ground truth 多次 probing 得到的 proxy，semantic stability 也只是回答一致性；它们不等于部署时可直接观测的真实知识边界。

Method

1. 从包含 query、answer、supporting facts 的 QA 种子出发，交替执行 Fact Injection 与 Information Fuzzing：添加需要 multi-hop inference 的事实，或模糊明确约束以要求进一步搜索，再检查 semantic validity、difficulty 与 answer uniqueness。
2. 冻结模型并在无 retrieval 条件下对每个 query 多次采样，以相对 ground truth 的 match rate 计算 parametric certainty μ，以回答 embedding 的 pairwise cosine similarity 计算 semantic stability σ；先按 μ 分 known/unknown，再优先选择 known 中高 σ、unknown 中低 σ 的样本。
3. Policy 用 <search>、<info>、<summary>、<answer> 表达 action span。以 retrieval quality 和 μ 的阈值划分四种状态，automated judge 从 summary 判断实际采用的策略；一致时给正 alignment reward，不一致时惩罚，并与格式、检索质量和 terminal answer reward 结合。
4. Process reward 放在对应 action span 的结束 token，整条轨迹累计 return 后计算 group-normalized advantage，以 GRPO 和 KL regularization 更新。实验采用 Wikipedia dense retrieval，并限制最多 2 次 search iteration；主表 Failure Rate 综合 F1 与 Correct Refusal Rate，不能直接解释为纯 QA accuracy。