OS-Symphony: A Holistic Framework for Robust and Generalist Computer-Using Agents

Idea

OS-Symphony 将通用 computer-using agent 组织为 Orchestrator、Reflection-Memory Agent 与多种专用工具代理，使长流程操作同时具备可压缩的历史、按需获取的图文教程和不同操作通道。核心改变是把经验维护、知识获取与具体执行显式分工，而非让单个模型不断重读截图并自行猜测下一步。

Research Problem

长时电脑任务会累积大量重复截图，有限上下文难以保留关键转折；面对陌生应用或缺少操作知识时，单纯依靠模型参数知识及文本检索又容易反复尝试。直接调用代码或通用视觉定位也不能保证修改在真实 GUI 中生效，因此需要跨代理反馈与执行验证。

Insight

历史信息的价值取决于是否改变任务状态，而非出现的时间；milestone 标记可保留关键界面并压缩冗余。失败还应区分 GUI 操作、教程缺失、代码错误和意图偏离，因为各类问题需要不同补救。把当前截图纳入检索问题，可让教程与实际界面状态对齐。

Method

1. Orchestrator 结合用户指令、最新截图、最近 K 轮记录、轨迹反思及检索教程规划动作，并选择 GUI Grounder、OCR Grounder、Coder 或 Searcher。
2. 辅助 VLM 根据操作前后截图、局部放大区域及上一步输出生成执行摘要和成功信号；Reflection-Memory Agent 维护摘要、截图和 milestone，输出 On-track、Completed、Infeasible、Off-track 等状态及可复用知识。
3. Multimodal Searcher 在独立浏览器环境读取渲染页面，以视觉浏览动作检索并交叉核对教程，完成后将结构化操作知识加入主代理上下文，避免搜索改变主任务环境。
4. General Grounder 利用视觉和语义定位，OCR Grounder 从带文本、ID 与 bbox 的候选中选择目标；Coder 按定位文件、检查、原地修改、验证的流程执行，随后仍由 Orchestrator 检查 GUI 结果并决定恢复或继续。