ProSoftArena: Benchmarking Hierarchical Capabilities of Multi-modal Agents in Professional Software Environments

Idea

ProSoftArena 建立专业软件操作的分层能力体系，并在可复位 Windows 11 VM 中提供 456 个真实任务。它把单个操作、单软件完整工作流、跨软件 pipeline 和开放创作分开评价，同时支持人类接管或 agent 主动求助，以衡量专业环境中的自主与协作能力。

Research Problem

浏览器和普通桌面 benchmark 很难覆盖 CAD、GIS、仿真、化学绘图等软件的复杂界面与领域知识。只看点击或短任务成功，无法检验跨应用数据转移和长程专业流程；仅评价完全自主执行，也不能描述用户在实际工作中需要投入多少帮助。

Insight

专业能力有可组合层级，L1 操作成功不意味着能够规划 L2 工作流，更不能推出 L3 跨软件协调。应以具体初始工作状态和最终 artifact 验证功能完成，再通过可控的人类介入观察现有 agent 的实用协作方式。

Method

1. 定义 L1 Operation、L2 Software、L3 Pipeline、L4 Creative 和 L5 Project 五级体系；当前 benchmark 实际覆盖至 L4，L5 长期项目协同作为未来范围。由 12 位专家覆盖六学科、二十子领域、十三种软件设计任务。
2. 为任务标注 instruction、输入文件、难度、预期输出、评价规则、示范轨迹及人工时间/步数，至少两名领域专家独立核查。高层任务反向补齐所依赖的 L1 操作。
3. 每轮从 VM snapshot 恢复固定软件版本，配置脚本加载文件并调整窗口和面板；agent 通过 screenshot、a11y 或 SoM 观察并操作，直至 DONE / FAIL 或步数上限。
4. Task-specific evaluator 保存并读取最终文件或系统状态，例如检查图像误差、解析设置文件，返回功能成功结果。另提供专家实时接管后归还控制，以及 ASK_ACTION 由 agent 说明所需帮助的两种 human-in-the-loop 模式。