SPARKLE: A Structured and Plug-and-play Agentic Retrieval Policy for Adaptive RAG Models

Idea

SPARKLE 用独立轻量 proxy model 控制 frozen reasoner 的 adaptive retrieval，分别承担是否检索、构造 query 和整合 evidence 三种角色。它把中间 thought 压成 KG-based reasoning chain，明确缺口后检索，并只训练 proxy 以支持替换 LLM 或 retriever。

Research Problem

仅靠 frozen LLM 提示决定检索缺少直接监督，而微调主 LLM 成本高且耦合其通用能力。直接从长 thought 生成 query 易混入猜测和无关内容；把整批检索文档加入上下文又增加噪声，因此需要独立且结构化的 retrieval policy。

Insight

检索控制可以被看作主 LLM 与 retriever 之间的可学习决策层。关系三元组用于识别缺什么与筛选哪份文档，完整 source document 则保留回答所需语境；二叉分支 rollout 对照同一阶段检索和不检索的后果，使 proxy 看到更充分的策略探索。

Method

1. Retrieval Decision Agent 读取 question、已取 context 与累计 thoughts 输出 Yes/No；Yes 时 Query Formulation Agent 从 thoughts 抽取含 unknown slots 的 KG chain 并生成针对缺口的 query。
2. Knowledge Integration Agent 在 retrieved documents 的预提取 triples 中选最能填关键缺口的一条，把其 source document 而非仅 triple 加入 context，reasoner 继续生成下一步。
3. 冻结主 LLM 与 retriever，共享 proxy 以不同 role prompts 执行三个 agents，用 PPO 优化；默认 Qwen2.5-3B proxy 配 Qwen2.5-7B reasoner 与 E5 retriever。
4. 训练 rollout 前 L 个 reasoning steps 同时展开 retrieve/non-retrieve 两分支；若检索选到已在 context 的文档则剪掉冗余分支，之后退回普通 policy rollout 控制指数增长。
5. 终局奖励结合 context evidence Recall 与 answer F1，对各 state–action 用可达叶子奖励均值作 Monte Carlo credit assignment；在 ID/OOD QA 与可替换组件条件检验效果。