AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts

Idea

AgencyBench 将 Agent evaluation 组织为真实项目中的连续任务：agent 在同一 scenario 中逐步实现功能，交付文件或环境状态，并根据 user simulation agent 的 rubric feedback 修正结果。它结合 Docker execution、rule-based checks 与 multimodal judges，衡量 long-horizon task completion、feedback-driven self-correction 和 resource efficiency。

Research Problem

现有 benchmark 常聚焦单一能力或较短工具链，难以观察开发、research 与 MCP tool use 中跨步骤保留约束、维护已有结果和修复错误的能力；依赖人工反复给反馈又限制大规模 rollout collection。论文要构建足够长、覆盖多类工作且能自动评估真实 deliverables 的 benchmark，而不是只判断最终自然语言回答。

Insight

复杂任务的可完成性取决于持续维护产物和利用反馈，单轮成功率会遗漏这两点。把项目拆为相互依赖的递进任务，并以明确 rubrics 驱动 feedback，可以观察 agent 的恢复能力及其成本。标题中的 1M tokens 指论文报告的 scenario rollout 平均 token 消耗，不应理解为每个决策都必须在单次 1M-token context window 内完成。

Method

1. 由 20 位专家构建 6 类能力、32 个 scenarios、138 个 tasks；每个 scenario 包含 1–5 个难度递增的任务，前一任务结果影响后一任务。每项提供 Query、Deliverables、Rubrics 和 evaluation scripts，再由独立专家 panel 一致审核。
2. Agent 在 workspace 中通过文件操作、shell、web search、context management 等 scaffold tools 工作；产物同步到 Docker sandbox，脚本执行 UI 操作或功能检查，并把 screenshots、recordings 等 artifact 送到隔离的 eval-space 评分。
3. 可客观检查的要求使用 rule-based assertions，主观或复杂视觉要求使用 LLM-as-Judge；Text Judge 检查代码与逻辑，Vision Judge 检查截图、视频中的行为与视觉结果，涉及 visual deliverables 时取两者平均。User simulation agent 根据未满足的 rubrics 给具体反馈，触发后续修正。
4. 报告 rubric-based Average Score、达到 60% 阈值的 Pass@k、Average Attempts，以及分数相对于 attempt/token cost 的效率。对 judge 与反馈做人工抽查验证；这些结果依赖 scaffold、rubric 和 judge 配置，体现受控 benchmark 中的表现，并不等于真实项目的全面质量保证。