Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning

Idea

CrossHA 将 action-space selection 与具体动作内容放进同一 policy，在 Minecraft 任务中动态选择 language、grounding、motion、raw 或 latent 等不同层级接口。训练从混合动作 SFT、单步 RL 逐步推进到在线多轮 RL，学习各阶段适合的控制粒度。

Research Problem

固定动作接口各有弱点：高层控制高效但可能不精确，低层操作灵活却冗长。把多种轨迹混合训练只会教会多种语法，并不保证模型会依据状态选对接口；单步动作正确也不代表长程任务中选择足够稳健或高效。

Insight

不同表示可能对应相同的 canonical raw action，因此可先用统一执行语义奖励动作正确性，解除对特定表面格式的偏好，再用任务完成和整段 token 成本学习长期取舍。关键是把接口选择本身作为可学习的决策变量。

Method

1. 以 Minecraft VQA / caption 数据适配 Qwen2-VL-7B，并用 SAM grounding 与 MineCLIP motion 模块为 VPT、人工轨迹增加不同动作表示。Mixed-Space SFT 先建立多动作空间的语义和格式基础。
2. Diversity-Enhanced SFT 为同一上下文生成不同空间的候选，依据环境或 parser 保留可执行正确动作并重平衡数据。Single-Turn GRPO 再按 parser 映射后的 raw action 是否与 GT 一致给二元 reward。
3. 将单步 RL 的正确预测回填为新标签，错误预测继续使用原标签，在保持 raw semantics 的条件下蒸馏已学接口偏好，形成 multi-turn RL 的 supervised 初始化。
4. 在线 Multi-Turn RL 使用整条 trajectory 的任务成功二元 reward，并惩罚总生成 token 数，鼓励成功时采用更简洁表示。训练选取挖掘、制作、战斗共 30 个任务，在 800 多项 OpenHA 任务上报告任务覆盖 FT 与平均成功率 ASR。