Can Compact Language Models Search Like Agents? Distillation-Guided Policy Optimization for Preserving Agentic RAG Capabilities

Idea

DGPO 先用 teacher-generated agentic search trajectories 为 compact model 做 Knowledge Distillation，再在 PPO 中仅对答错的 student rollouts 加 teacher KL guidance。答对时保留自主探索空间，答错时用 dense distribution signal 缓解 binary reward 的稀疏性。

Research Problem

0.5–1B 级模型直接进行 agentic RAG RL 时初始成功率低，容易训练不稳定；单纯离线 imitation 存在 exposure bias，持续无差别模仿又会限制 student 的独立策略。论文研究如何在 teacher support 与 on-policy exploration 之间建立依赖结果的切换机制。

Insight

Teacher 的角色可以由固定 policy anchor 改为失败时的指导者：对成功输出无需强制贴近 teacher，对失败输出则利用其 token distribution 提供梯度。这里的选择信号来自训练时可用的 ground-truth EM，并不是部署阶段能无条件识别自身错误的能力。

Method

1. 从较强 search policy 收集 teacher-generated outputs，过滤只保留正确轨迹，以 hard-label cross-entropy 加 teacher→student KL 做 cold-start KD，先建立基本 reasoning/search 行为。
2. 让 student 在 retrieval environment 中采样自己的 multi-turn trajectories，用 learned value function 与 GAE 估计 advantage，再执行 PPO clipped updates；该方法保留 critic，区别于 GRPO-style critic-free 训练。
3. 若最终 answer exact-match ground truth，reward 为 1；否则 reward 为 student→teacher KL 的负惩罚。Teacher 在失败轨迹上作为主动 distribution guidance，而不是对所有轨迹施加统一 reference regularization。
4. 在 Wikipedia/E5 retrieval 下比较多种小模型与 teacher，并以 ARCap 的 Source Referencing、Query Rewriting、Thinking 维度分析能力保留；整体 EM 与单项 agentic behavior 诊断需分别报告。