SAGE: Scalable Agentic 3D Scene Generation for Embodied AI

Idea

SAGE 根据 embodied task 自动生成 simulation-ready 3D scenes。Agent 通过 MCP 调用 scene generation 与 editing tools，并依据 visual critic 和 physics critic 的反馈迭代修改；再扩展场景、生成 robot demonstrations，供 downstream policy learning 使用。

Research Problem

Embodied learning 需要可交互且多样的训练环境，而真实数据采集成本高。已有 scene generators 往往只能生成语义上看似合理的布局，缺少 object-level physical properties 和 simulator validation，因而可能存在碰撞、悬浮或不稳定 placement，无法直接用于机器人训练。

Insight

Simulation readiness 应在 generation loop 中持续检查，而不是生成完毕后才验证。Visual critic 判断任务所需物体与空间关系，physics critic 检查实际 stability，两者提供互补约束；在维持 task semantics 的条件下扩展 object 与 layout diversity，才能把生成场景变成训练数据。

Method

1. Scene Initializer 根据 task description 创建 room 与 object proposals；Asset Placer 用 TRELLIS 生成 assets，估计尺寸、mass 和 PBR properties，并用带 collision avoidance 的搜索满足 floor、wall 或 on-top placement constraints。
2. Agent 经 MCP 动态选择 Placer、Mover、Remover 等工具。Visual critic 读取 scene configuration 与多视角 renderings，指出缺失对象、错误位置及语义问题。
3. 每次编辑后载入 Isaac Sim，通过 pose changes 和 collision checks 检查稳定性；失败时把调整尺寸或位置等建议交回 Agent，重新生成或放置。
4. 对 task-relevant objects 的 pose、geometry / texture 和背景 layout 分层 augmentation，重复 physics validation；随后用 M2T2、Curobo、RRT 生成并筛选 demonstrations，再以 Diffusion Policy 做 imitation learning。