NitroGen: An Open Foundation Model for Generalist Gaming Agents

Idea

NitroGen 从公开 gameplay video 中的 controller overlays 自动恢复玩家 actions，构建跨千种游戏的视频动作数据，再训练统一 vision-action policy。贡献包括数据引擎、可包装商业游戏的评测 harness，以及用 behavior cloning 预训练的 generalist gaming model。

Research Problem

通用游戏 Agent 缺少大规模且有动作标签的多样数据。LLM 方法常依赖游戏特定 API 或感知模块，单游戏 RL 需要昂贵交互和专用 simulator，人工 behavior cloning demonstrations 又难扩展。Internet video 有丰富行为，但通常缺少机器可用的 controller labels。

Insight

玩家用于展示操作的 overlay 是可恢复 action supervision 的现成通道。若动作解析能够跨模板、透明度和压缩噪声泛化，就能把观看视频转换为学习控制。统一 gamepad action space 进一步使不同游戏共享同一 policy，而无需每个游戏重建接口。

Method

1. 用约 300 个模板与 SIFT/XFeat 匹配定位 controller overlay，再训练处理相邻帧的 SegFormer hybrid classification/segmentation parser，预测 buttons 与 joystick grid，并从连续轮廓恢复规范化摇杆坐标。
2. 用程序化随机 controller states 叠加真实背景生成大规模 parser 监督，覆盖 opacity、size 和 compression。训练 policy 前过滤低 action-density 片段，并遮住 controller overlay 防止直接读取标签捷径。
3. 统一 observation 为 RGB frame，action 为 16 个 binary buttons 和 4 个连续 joystick 值。SigLIP-2 编码图像，DiT 通过 cross-attention 以 conditional flow matching 生成 16-step action chunks，推理用对应 denoising process。
4. Harness 通过控制 game engine system clock 提供逐帧 Gymnasium 式交互，跨 10 游戏 30 任务做人类成功判定。任务选择初始视觉状态足以提示目标的设置，语言指令控制留待后续，另评估未见游戏微调迁移。