Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text

Idea

GEM 提出 Text-to-Trajectory 数据范式：从网页语料中已有的操作经验抽取任务、工具与流程，再合成多轮工具交互。它把数据来源从预先准备的 API 库转向广泛程序性文本，并进一步蒸馏出能直接将文本转为轨迹的 Trajectory Synthesizer。

Research Problem

多轮 tool-use 数据难获得，依赖固定工具集合的模拟容易限制领域、工具和行为多样性。现实文本已经记录大量多步骤操作、条件和失败处理，但这些隐含经验未被系统转成训练代理可用的结构化交互；全流水线反复调用强模型又带来较高合成成本。

Insight

操作性文本中往往同时存在目标、可执行功能和步骤依赖，足以提供工具交互的原型。先抽象 workflow 再设计单一功能工具，可保留源文本的任务逻辑；通过复杂化和上下文 grounding 检查，能把简单说明扩展为包含澄清、拒绝和恢复的多轮训练轨迹。

Method

1. 过滤不含 multi-step operations 的原始文本，分析保留段落的领域与任务类别；从每段抽取步骤、先后依赖、条件逻辑和唯一性约束，并按 OpenAI schema 设计对应工具定义。
2. 用 GLM-4.6 根据原文、workflow 与工具一次生成完整轨迹，包含领域 system rules、多轮用户请求、assistant actions 和模拟工具返回，鼓励澄清、能力外拒绝及错误恢复。
3. Refinement 扩展工具种类、改进模拟反馈、增加用户歧义与非平凡调用链；规则检查 schema、参数类型、角色格式，Qwen3-32B judge 再检查参数值是否来自已有对话上下文。
4. 保留合格轨迹做 agent SFT，并训练端到端 Trajectory Synthesizer 学习 text→tool definitions plus trajectory，以降低重复合成成本；通过 BFCL V3 Multi-turn 和 τ-bench 检验跨环境泛化。