DPEPO: Diverse Parallel Exploration Policy Optimization for LLM-based Agents

Idea

DPEPO 让一个 LLM agent 同时控制多个从相同初始状态出发的 environment copies，并共享各分支 observation。Policy 每轮决定在哪些副本采取什么 action，通过成功 reward 与跨时间、跨分支的 diversity signals 学习协调探索。

Research Problem

Sequential ReAct 每步只能看到一条路径的反馈，独立多次 rollout 又无法即时利用彼此经验，容易重复同一失败路线。论文研究如何把并行探索直接纳入 agent action space，并让 RL 鼓励有区分度的行为，而不是把多个环境当作重复采样。

Insight

Parallelism 的价值来自互补信息而非副本数量本身：重复 action 或重复 state–action pair 会消耗探索机会。DPEPO 用 repetition-based reward 调整成功与失败轨迹中各步的训练权重；这种 novelty proxy 不是严格 information gain，也依赖可复制并行环境。

Method

1. 为同一 task 初始化 K 个 environment copies；每轮 agent 选择任意 subset，联合生成带 environment ID 的 actions，执行后把各副本 states 放入共享 trajectory，任一分支达到 goal 即视为整体成功。
2. 以少量人工 parallel trajectories 为示例，让 teacher 扩增训练轨迹，先用 SFT 学会多环境结构化输出与基础探索，再进行 RL。
3. Diverse Action Reward 按单环境历史与同轮分支间的 action repetitions 折扣；Diverse State Transition Reward 则对文中定义的 state→action pair 在本地及其他分支历史中的重复折扣，两者平均得到 step reward。
4. 先计算 group-normalized trajectory advantage；成功方向乘 step reward，失败方向乘 2−step reward，再用 GRPO-style clipped objective 更新。实验主要使用 4 个并行环境，在 ALFWorld 与 ScienceWorld 比较成功率和成本。