Mango: Multi-Agent Web Navigation via Global-View Optimization

Idea

Mango 在实际导航前构建网站的有限全局视图，主动选择更合适的入口 URL，并把这些入口作为 multi-armed bandit 的 arms 分配后续导航预算。反思模块更新入口价值和有效性，episodic memory 保存先前尝试以减少重复探索。

Research Problem

从 root URL 开始逐层浏览的大型网站会消耗大量预算在无关分支或中间页，局部观察下的更好点击策略仍难摆脱起点问题。固定搜索排序也无法利用实际导航反馈，简单重试则容易重复已经失败的操作。

Insight

全局结构信息可在行动前缩小入口空间，而入口价值需要在浏览过程中更新：一次未完成可能是路径错误，也可能只是预算不够。把 promising-but-incomplete 与 dead end 区分开，比按单次任务成功给入口打分更适合长程导航。

Method

1. 从 root URL 做有限 BFS crawl，仅保留同域 HTML 页面，用 BM25 内容相关性选 top-10；再由 LLM 生成关键词，结合 Google site search 加入 top-10 结果，构成候选入口集合。
2. 将每个 URL 视为带 Active/Exhausted 状态的 arm，用归一化 BM25 score 初始化 Beta prior，以 Thompson sampling 选择下一入口；导航 agent 在单次动作 budget 内操作浏览环境。
3. reflection agent 检查最终输出与轨迹，任务足够完成则结束；仍有希望则给正反馈增加再访问概率，无效路径给负反馈，dead end 直接停用。更新 Beta posterior，而非重新训练 backbone。
4. 保存轨迹、最终输出及反思，再访问同 URL 时提供历史以避免重复错误。分别采用与基线一致的 Playwright/Crawl4AI 环境，在 WebVoyager 的 129 个 QA 子集和 WebWalkerQA 上评估成功率、动作数及 URL selection 消融。