ToolOmni: Enabling Open-World Tool Use via Agentic learning with Proactive Retrieval and Grounded Execution

Idea

ToolOmni 将 open-world tool retrieval 与执行放入同一个 agent 的 reasoning loop，先主动多次搜索并筛选工具，再依据检索到的 documentation 执行；训练时用 decoupled multi-objective GRPO 分别学习两种行为。它以可检索工具语义代替仅靠参数记住工具，并让执行需求影响工具发现。

Research Problem

一次性 embedding retrieval 难以将复杂用户意图映射成覆盖全部子任务的工具集合，执行模型也无法在检索不足时继续寻找。将工具细节记入参数则难应对大规模、持续更新的工具库。简单合并 retrieval 与 execution reward 又会受后者稀疏结果信号影响，导致学习目标相互干扰。

Insight

agent 可通过 query reformulation 和候选选择主动消解工具语义差距，但 execution 需要先有足够工具才有可学习的成功路径。把两个阶段的 reward、group advantages 与更新分离，并只对召回完整的检索结果展开执行训练，可以稳定学习；这同时意味着训练对失败检索后的恢复覆盖有限。

Method

1. 从 ToolBench 构建 cold-start 数据：检索模型与 rejection sampling 得到约 28K retrieval traces，另抽取约 33K execution traces并用 judge 验证；SFT 只监督 agent reasoning/actions，mask 外部 observations。
2. Proactive Retrieval 根据任务反复生成 search query，检索 server 用 embedding cosine top-k 返回候选；agent 从累计结果中选出并排序 task-complete subset，再切换 Grounded Execution，按工具文档生成 arguments 和后续 reasoning。
3. 执行训练使用 LLM-based Tool Simulator 返回 observation，直到 final answer；仅保留召回所有 golden tools 的检索结果启动 execution rollout，reward model 综合所需工具调用与答案正确性给 outcome signal。
4. retrieval reward 结合 format、gold-tool recall 与 retrieved-to-selected conversion，execution reward 结合 format 与 answer。分别做组内 advantage normalization，在同一训练 step 内顺序更新两项目标并 mask tool tokens；ToolBench 多难度与 Instruction/Tool/Category splits 检查检索、端到端执行和泛化。