AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments

Idea

AgentGym2 以去除理想化条件的开放数字环境评测 LLM Agent：仅提供基础可组合工具，让 Agent 自行发现额外接口、处理原始附件和噪声，并完成复杂工具使用、端到端数据分析与 deep search。437 个任务结合真实工作需求和受控困难因素。

Research Problem

已有 benchmark 常预先提供最合适工具、清洗好数据并把请求写得完整，绕过真实部署中关键前置步骤。因此高分不能说明 Agent 能发现未知工具、清理数据、解决含糊指代，或识别用户记忆中的错误线索。

Insight

评测应保留完成任务不可省略的探索和数据处理过程，同时让最终答案仍可验证。开放工具空间与受控干扰结合，能区分不充分探索、盲信错误条件和推理失败；任务原型来自现实需求，但包含人工合成和改造，不能简单等同于自然生产流量。

Method

1. 框架解耦 environment、tools、agent 和 task configurations，覆盖代码运行、文件系统、搜索、浏览器与互联网；27 类基础工具支持多模态与组合，允许外网发现新资源，并以隔离文件、浏览器、sandbox 及异步并发保证实验独立。
2. 构造 182 个 complex tool use 任务，其中 57 个侧重 discovery、125 个侧重 composition；由真实讨论或现有 benchmark 改造，将关键实体放入 CSV/JSON/图像等附件并可能加 distractor，迭代确认需处理附件且答案唯一。
3. 基于 GitHub/Kaggle 等来源构造 57 个 data analysis 任务，保留 EDA、清理、处理及深入分析要求，通过人工核验保证基础工具能够完成。
4. 198 个 deep search 分 114 个 ambiguity-only 与 84 个 ambiguity-with-bias：前者由 Wikipedia 实体关系递归生成，后者来自记忆型问题或注入带不确定措辞的错误属性，人工确认目标答案不变。
5. 各任务答案为短字符串或数值，由 Qwen3 judge 判断语义等价；ReAct Agent 每轮可多工具调用，最多 100 轮，固定设置重复三次，报告 Avg@3/Pass@3，并分析模型规模、成本、交互轮数和失败类别。