Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos

Idea

Ego2Web 把 egocentric video perception 与真实网站执行放进同一 benchmark。Agent 必须从第一人称视频中识别任务所指的对象、品牌、动作顺序或位置，再在网页中完成搜索、信息获取等目标。Ego2WebJudge 进一步把视频证据纳入成功判定，避免只看网页轨迹就宣布完成。

Research Problem

现有 Web benchmarks 的视觉输入主要来自屏幕，无法检验用户现实环境如何决定网页任务。例如找出第四个被拿起的零食后查询其热量，失败既可能来自视频 grounding，也可能来自浏览器操作。只对最终网页或文字答案评分，会漏掉找错现实对象但网页流程完整的情况。

Insight

跨物理和数字环境的任务存在连续证据链，网页结果必须与视频中指定实体一致。数据构造应保证视觉信息不可省略，评价也必须访问这份信息。把目标拆成可核查 keypoints，再选择相关截图，可降低冗余轨迹对多模态 judge 的干扰。

Method

1. 从 Ego4D 收集室内外第一人称视频，用 Qwen3-VL 对分段视频生成结构化 metadata，记录对象、场景和时序事件，建立 video profile。
2. GPT-5 根据 profile 与指定网站池生成需依赖视觉线索的任务。人工审核并修改 visual grounding、website feasibility 与 instruction clarity，得到 500 个 verified video-task pairs，覆盖电商、媒体、知识和地图等任务。
3. Ego2WebJudge 先提取成功所必需的 keypoints，再逐张总结 browser screenshots 并按任务相关性筛选，最后联合任务、action history、关键截图及人工标注的视频 evidence keyframes 给 binary outcome。
4. 在 live websites 上评测六种 Web agents，并用人工判断校验自动评价。不同模型输入采用 captions、稀疏 keyframes 或原始视频，另分析视觉输入形式与下游成功率的关系。