Nested Browser-Use Learning for Agentic Information Seeking
Idea
NestBrowse 用嵌套控制结构把信息检索 agent 的全局推理与页面内 evidence extraction 分开:外层决定 search、visit、click、fill,进入新页后内层逐段读取并汇总目标相关信息,只把紧凑 workspace 传回外层。
Research Problem
仅用搜索 snippets 和 URL fetch 的 agent 无法稳定访问动态加载、表单和多步导航后的内容。直接加入大量浏览器操作与完整 DOM,又放大动作选择和上下文负担;长页截断可能丢掉关键证据,而反复滚动会让全局任务推理被页面细节挤占。
Insight
信息获取需要真正改变浏览状态,但并非每段页面内容都值得进入长期推理上下文。用少量交互工具保持访问能力,再把页面遍历封装在一次带 goal 的调用内部,能够分别训练操作决策和证据压缩,减少两者相互干扰。
Method
- 以 Playwright headless browser 将 HTML 转成保留交互元素 ID 的 semantic DOM snapshot;提供 batched search、goal-conditioned visit、click,以及 fill 四工具,模型处理文本页面而不接收视觉输入。
- 外层采用 ReAct,选择工具及参数并维护任务历史。visit 或 click 引出页面后触发内层,把全文分段、逐段按 goal 抽取信息并累积到 temporary workspace;所有段处理完后返回 workspace,避免把整页直接加入外层。
- 从 SailorFog-QA-V2 的复杂浏览任务生成示范,rejection sampling 排除格式违规、无效工具/参数和最终答案错误;不额外限制中间 reasoning,以保留不同浏览策略。
- 同一模型用 weighted multi-task imitation loss 学习外层 reasoning/tool-use 与内层逐段证据提取,默认两项等权;在中英文 deep information-seeking benchmarks 比较答案表现,并分析浏览策略与上下文效率。
Sources & Reading Scope
阅读依据:官方 PDF 正文。核读页码按 PDF 页序计数,可能与 proceedings 页码不同。
核读章节:Minimally Complete Browser Toolkit · Nested Browser-Use Framework · Multi-Task Imitation Learning · Setup
核读工具、嵌套 workspace 和训练目标。所谓 complete toolkit 是论文针对文本网页信息获取的抽象,不意味着覆盖视觉操作或所有浏览器功能;内层会遍历分段全文。