Thinking in 360deg: Humanoid Visual Search in the Wild

Idea

Humanoid Visual Search 把单张 360° panorama 变成可交互观察环境，让 MLLM 通过头部 yaw / pitch rotation 寻找目标物体或通向目标的路径方向。H*Bench 将研究从静态整图识别推进到有限 FoV 下的主动搜索，同时绕开逐场景搭建完整 3D simulator 的成本。

Research Problem

普通图像 crop 搜索始终在已给定的 2D 画布上操作，不能充分考察朝未知方向看、维持空间方位和决定停止。具身导航研究又常受真实硬件或室内 3D 数据限制，难规模化研究交通枢纽、商场和街道中的拥挤视觉与空间常识。

Insight

人在导航关键决策点会暂停移动并转头找线索，这一局部能力可由 panorama 的透视投影独立闭环研究。物体搜索主要要求把目标居中，路径搜索还需从标识推断可通行方向，尤其当文字线索与实际路径朝向不一致时暴露更强空间推理需求。

Method

1. 环境按 azimuth 和 polar angle 从 panorama 渲染窄 FoV 观察，policy 结合指令与历史生成 reasoning 和 Rotate(Δyaw, Δpitch)，或 Submit 当前方向结束；HOS 评价物体朝向，HPS 主要评价路径 yaw。
2. 标注者在可旋转透视界面中拟定任务并框目标，将 box 反投影为最佳球面方向。约 3,000 个任务各设四种初始方向形成约 12,000 episodes，覆盖六类场景和十八子类型。
3. 根据人工最优动作由 GPT-4o 补充观察依据明确的 rationale，再人工修正幻觉，构建 2,000 条多轮 cold-start trajectories。全参数 SFT 建立基本工具使用，随后多轮 GRPO 加强搜索策略。
4. 按初始物体可见比例划分 HOS 难度，按有无文字提示及 cue–path 是否对齐划分 HPS 难度。以最终提交方向是否落入标注目标的角度容差区评价 success，并分析跨任务泛化与视觉到动作失配。