← Agent Tool Use 2026

ACL 2026 · Long · A47

Nested Browser-Use Learning for Agentic Information Seeking

GUI / Web / Computer Use · 扩展相关 · 方法 / 系统

Idea

NestBrowse 用嵌套控制结构把信息检索 agent 的全局推理与页面内 evidence extraction 分开:外层决定 search、visit、click、fill,进入新页后内层逐段读取并汇总目标相关信息,只把紧凑 workspace 传回外层。

Research Problem

仅用搜索 snippets 和 URL fetch 的 agent 无法稳定访问动态加载、表单和多步导航后的内容。直接加入大量浏览器操作与完整 DOM,又放大动作选择和上下文负担;长页截断可能丢掉关键证据,而反复滚动会让全局任务推理被页面细节挤占。

Insight

信息获取需要真正改变浏览状态,但并非每段页面内容都值得进入长期推理上下文。用少量交互工具保持访问能力,再把页面遍历封装在一次带 goal 的调用内部,能够分别训练操作决策和证据压缩,减少两者相互干扰。

Method

  1. 以 Playwright headless browser 将 HTML 转成保留交互元素 ID 的 semantic DOM snapshot;提供 batched search、goal-conditioned visit、click,以及 fill 四工具,模型处理文本页面而不接收视觉输入。
  2. 外层采用 ReAct,选择工具及参数并维护任务历史。visit 或 click 引出页面后触发内层,把全文分段、逐段按 goal 抽取信息并累积到 temporary workspace;所有段处理完后返回 workspace,避免把整页直接加入外层。
  3. 从 SailorFog-QA-V2 的复杂浏览任务生成示范,rejection sampling 排除格式违规、无效工具/参数和最终答案错误;不额外限制中间 reasoning,以保留不同浏览策略。
  4. 同一模型用 weighted multi-task imitation loss 学习外层 reasoning/tool-use 与内层逐段证据提取,默认两项等权;在中英文 deep information-seeking benchmarks 比较答案表现,并分析浏览策略与上下文效率。

Sources & Reading Scope

阅读依据:官方 PDF 正文。核读页码按 PDF 页序计数,可能与 proceedings 页码不同。

p. 1 · p. 3 · p. 4 · p. 5

核读章节:Minimally Complete Browser Toolkit · Nested Browser-Use Framework · Multi-Task Imitation Learning · Setup

核读工具、嵌套 workspace 和训练目标。所谓 complete toolkit 是论文针对文本网页信息获取的抽象,不意味着覆盖视觉操作或所有浏览器功能;内层会遍历分段全文。