I2E: From Image Pixels to Actionable Interactive Environments for Text-Guided Image Editing

Idea

I2E 先把图片分解为可操作的 amodal object layers 与背景，再由 physics-aware VLA agent 将编辑指令编译为 atomic actions。编辑从反复全图重绘变成显式维护场景状态和操作对象，以处理多目标空间关系与连续局部修改。

Research Problem

端到端编辑把指令理解、规划与像素生成耦合，复杂指令容易遗漏子目标；全局 attention 与重建过程又会扰动非目标区域。普通 segmentation 只保留可见部分，移动遮挡对象后会露出空洞，缺少层次与支撑关系也会产生不合理遮挡或悬空。

Insight

稳定局部编辑需要的不只是更强语言规划，而是允许对象保持身份、可见性和层序的中间表示。先补全被遮挡内容与背景，后续 REMOVE 或 MOVE 就能复用已有层；物理约束指导动作顺序，连续编辑可积累状态而不必每轮重新合成整个场景。

Method

1. Decomposer 用 MLLM semantic reasoning 配合 grounding/segmentation 获取相关对象 masks，将无关区域归入背景；generative completion 补出遮挡纹理与几何，形成透明 RGBA layers，并 inpaint 被移除对象后的背景。
2. 建立 object occlusion DAG：以像素遮挡为 hard constraints、单目 depth 为 soft ordering，传播传递关系并计算 depth scores，从而排列全局 compositing layers。
3. VLA Editor 根据指令、当前场景及 gravity/support 等显式约束进行 CoT，生成带对象和参数的原子动作序列。
4. REMOVE 隐藏层，MOVE/FALL 刚性移动，RESIZE 保持宽高比；EDIT/RETOUCH 在目标层修改外观，INSERT 生成新层并按关系放入堆叠序列。
5. 维护 environment state，遇到用户反馈或 self-critique 追加纠正动作；以 I2E-Bench 的组合空间编辑及公开编辑数据评估指令执行、物理合理性和多轮稳定性。