RoboAgent: Chaining Basic Capabilities for Embodied Task Planning

Idea

RoboAgent 将 embodied task planning 分解为 scheduler 调用五种基础 vision-language capabilities 的过程，所有角色由同一个 VLM 实现，但各自保持独立上下文。通过明确 capability interfaces 和 simulator-derived supervision，系统学习可检查的中间推理，再逐步提升偏离状态处理与 scheduler 决策能力。

Research Problem

直接让 VLM 在长程交互中产出 atomic actions，需要同时完成对象寻找、状态分析、控制及进展追踪。自由 CoT 虽增加文字步骤，却缺少对其中每项能力的明确监督。只在专家轨迹上行为克隆又难覆盖模型自己犯错后遇到的状态，scheduler 的调用策略也难从结果稀疏奖励学好。

Insight

把复杂规划接口改为模型本来擅长的基础视觉语言问题，可为每类中间输出提供可靠标签。能力模块和 scheduler 的学习难点不同：前者可从 simulator state 修正，后者则可借助 expert scheduler 的价值信息优化，从而避免全部依赖昂贵完整环境 rollouts。

Method

1. Scheduler 按任务与反馈调用 Exploration Guidance、Object Grounding、Scene Description、Action Decoding、Experience Summarization。只有 Action Decoding 输出 atomic action sequences，其余输出文本或 grounding 结果供 scheduler 更新上下文。
2. 第一阶段将专家 plan 按目标对象拆成 exploration/manipulation sub-plans，再映射为 capability sequences。Scene graphs、segmentation masks、environment success/error messages 分别监督对象位置、boxes、状态描述和执行总结，动作序列监督 decoding。
3. 第二阶段收集模型生成的成功及失败 trajectories，为语义有效的调用构建 corrective labels，与专家数据混合做 DAgger-style SFT，并扩展对象描述和 action-space 表述。
4. 第三阶段以 Expert-Induced Policy Optimization 训练 scheduler，利用未完成 sub-plans 构造 expert value，并用 expert advantage、importance sampling、clipping 与组均值 baseline 更新。输入是含合成 capability errors 的离线交互历史，完成 manipulation sub-plan 获得奖励。