End-to-End Optimization of LLM-Driven Multi-Agent Search Systems via Heterogeneous-Group-Based Reinforcement Learning

Idea

MHGPO 用 heterogeneous rollout groups 对 Multi-Agent Search System 做 end-to-end RL：把最终回答 reward 沿依赖路径向上游传播，再跨不同中间输入比较相对回报，共同更新各角色共享的 LLM backbone。论文重点在 group construction 与 rollout sampling，而非新增检索器。

Research Problem

Rewriter、Reranker、Answerer 的局部选择会影响下游全局结果；独立优化每个角色可能忽略协同，大 critic 的 MARL 又增加内存与训练负担。论文研究能否用 critic-free group-relative learning 捕捉跨 agent 依赖，以及怎样在比较同质性、样本复用与计算成本之间取舍。

Insight

同一 root question 的不同 upstream decisions 会生成不同 downstream prompts；若只在完全相同局部输入中比较，可能看不到全局合作效果。Heterogeneous comparison 能扩大协同信号，但也引入输入差异造成的 variance，因此 fork 位置本身成为训练设计变量。

Method

1. 搭建 Rewriter→search→Reranker→Answerer pipeline，所有 agents 由同一 backbone 通过不同 role prompts 实例化；多次 system rollout 收集各角色 input-output pairs 及 group ID。
2. 以最终 answer F1 作为 shared terminal reward，沿直接 successor 依赖向前取平均传播，加入角色特定的 format penalty，得到每个 agent output 的 reward。
3. 按 group ID 计算 mean/std-normalized advantage，并广播到该 output 的全部 tokens；聚合各角色的 clipped policy loss 与 KL penalty 联合更新共享 backbone，不训练独立 value critic。
4. 比较 Independent Sampling 的同质分组、Fork-on-first 的首角色分支及后续异质输入，以及 Round-robin 的随机 fork point；RR 上游单样本还会与 batch 内同 fork 设置样本分组，以换取较低 rollout cost。