IPR-1: Interactive Physical Reasoner

Idea

IPR-1 用可学习的 physics-centric action code（PhysCode）连接 VLM policy 与 world model。VLM 生成候选 latent actions，world model 在相同空间想象短期后果并估值，再选择可执行动作和提供策略训练信号，目标是从多样游戏交互中获得可迁移物理推理。

Research Problem

VLM/VLA 能表达行动意图，却通常缺少执行前 look-ahead；world models 可以预测视觉变化，但容易依赖表面外观而非物理机制。Raw keyboard controls 在不同游戏有语义别名，语言动作又不能精确表达冲量、摩擦滑动等细粒度动力学，二者都不是自然的跨域共享接口。

Insight

要让预测真正约束 reasoning，二者需要共享能够编码干预动力学的 action representation。外观、motion 与轻量 semantic hints 一起学习的 discrete code 可把相似物理变化聚合，同时保留不同动力学的差异。Feature-level 预测进一步减少渲染变化，使想象中的价值更易用于策略筛选。

Method

1. 在多游戏视频上融合 DINOv3 appearance、相邻帧 optical flow 和 T5 semantic hints，由 spatio-temporal encoder、VQ codebook 与 future-feature decoder 学习 PhysCode。VQ-VAE loss 配合 flow modality dropout 和 gate sparsity，推理时关闭只能预训练获得的 flow 输入。
2. 固定 action vocabulary 后训练 latent-conditioned world model，预测下一步视觉 feature，并以 TD backups 的 Q-learning-style objective 学习 critic head，估计候选干预的未来回报。
3. 给 Qwen3-VL-8B tokenizer 加入 PhysCode tokens，先以当前 feature 与 latent action 对做监督对齐。随后每个状态采样多条 action sequences，用短期 imagined rollouts 得到 returns 和 advantages，经带 KL 的 GRPO 更新 policy。
4. 推理时生成候选、world model 评分剪枝、选择动作，再由 environment router 映射到具体游戏控制。G2U 通过 retro、HTML/Canvas 和商业游戏的多样来源，分别评价 survival、curiosity exploration 与 goal-driven utility，并研究未见游戏迁移。