Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents

Idea

STEP-HRL 用 high-level subtask policy、low-level action policy 与 local-progress policy 共同替代不断增长的完整历史。已完成 subtasks 表示 global progress，迭代摘要表示当前 subtask 的 local progress，从而把训练与推理组织为 augmented step-level transitions。

Research Problem

长 interaction history 增加 agent 的 token cost，并使训练难以按单步 transition 复用经验；只做 hierarchical decomposition 又可能丢失 subtask 内关键进展。论文研究如何保留足够的全局与局部状态，让 policy 在紧凑输入下完成长任务并进行 offline RL。

Insight

高层已完成任务列表与低层 progress summary 分别承担不同记忆功能，两者结合可减少对完整轨迹的依赖。这里的 single-step 指输入由压缩状态与当前 observation 组成，而非无记忆或严格恢复 Markov property；summary quality 仍会影响后续决策。

Method

1. Local-progress policy 根据当前 subtask、上一步 action、最新 observation 和旧 summary 更新 progress；low-level policy 使用 subtask、progress 和当前 observation 生成 primitive action。
2. Subtask 结束后把 final local progress 交给 high-level policy，结合原任务、completed subtasks 与下一状态生成新 subtask；三个 policies 共享参数，以不同输入和目标实现角色分工。
3. 从 expert trajectories 合成 subtask/progress annotations，分别建立三种 input-target datasets 做 behavior cloning，再用初始化后的 policies 收集额外 transitions，与 expert data 混合用于 offline RL。
4. 每种 policy 配独立 critic，以 utterance-level Q/V heads、TD regression 和 expectile value learning 学习单步价值，再用 exp(advantage/temperature) 加权的 log-likelihood 更新共享 actor；在 ScienceWorld、ALFWorld 检查表现与 token usage。