A Functionality-Grounded Benchmark for Evaluating Web Agents in E-commerce Domains

Idea

Amazon-Bench用网页真实可交互功能来驱动任务生成，扩大到地址、wishlist、账户、店铺及gift card等操作，并将任务失败区分为无状态损害与产生非预期状态变更两类。它把电商agent能力从搜索商品扩展为是否能正确且可靠地修改用户状态。

Research Problem

电商benchmarks偏重商品搜索，难以覆盖真实网站的丰富功能；仅给LLM商品属性生成query，也可能要求页面并不存在的操作。传统success/failure二分还把未找到商品和错误下单、误删地址混为一类，无法揭示同样未完成任务时不同的用户影响。

Insight

功能多样性主要存在于button、form等交互元素的差异，而不是商品描述的差异。围绕这些元素采样并生成query能减少大量重复产品页的主导；同时将结果与用户授权的状态变化对应，可以把过程可靠性补充到完成率之外。

Method

1. 以breadth-first方式探索Amazon页面，按URL pattern划分十类功能，共收集60612个URL；抽取按钮、下拉框与输入栏可见文本，并用BERT embedding的平均两两cosine dissimilarity估计类别内部功能差异。
2. 按功能diversity分配页面采样量，并为低多样类别保留最低份额；将页面HTML简化为AXTree，使用GPT-4.1生成有页面功能依据的query，再改写为自然用户表达并人工复核，最终形成400项任务及47条人工示范轨迹。
3. 让agent直接与live Amazon网站交互，统一实现使用query、全页AXTree和action history作为观察，提供click、fill、select、stop、back、goto和hover操作；另比较观察范围和动作形式不同的产品agents。
4. 向LLM judge提供query、动作序列和逐步截图，将轨迹归为success、benign failure或harmful failure；后者关注错误订单、账户设置或购物车等非预期变更，从而同时分析完成能力与状态损害。