Mock Worlds, Real Skills: Building Small Agentic Language Models with Synthetic Tasks, Simulated Environments, and Rubric-Based Rewards

Idea

SynthAgent 同时合成 tool-use tasks、专属 virtual APIs、mock users 和 mock tools，再从 workflow 与 teacher demonstrations 中提取 task-level rubrics，供小模型进行 agentic RL。任务刻意保留信息缺口，使 agent 必须主动向用户 clarification，而不是照着完整指令机械调用工具。

Research Problem

现有开放训练集的工具和任务过于单一、容易饱和，真实 API 又成本高且不稳定；直接用 LLM 模拟工具则可能让同一调用在不同 rollout 中得到冲突结果。论文研究如何构建既有探索难度、又具备足够一致反馈与可计算 reward 的规模化 synthetic training environment。

Insight

有效 agentic RL 需要有区分度的成功与失败，而不仅是大量轨迹。隐藏关键用户信息能制造有意义的决策分支；固定 task-level tool-response memory 则降低环境噪声。这里的一致性由 LLM 参考调用映射实现，不能等同于具备完整 state transition semantics 的真实程序模拟器。

Method

1. 从 Persona Hub 的身份与情境出发，生成 high-level workflow、专属 tool descriptions/API specifications 和 forbidden behaviors；将过于明确的任务改写成 fuzzy instruction，把决定性信息移入仅 mock user 可见的 context。
2. 注册虚拟 tool suite，由 LLM 分别模拟用户回答和工具结果。维护每个 task 的有限 mapping，将 tool name、arguments 与 response 配对；后续调用由 simulator 检查 semantic equivalence，参考既有条目保持一致。
3. 采样多条 teacher trajectories，对照原 workflow 提取可由不同路径完成的 subgoals、required user interactions；若 workflow 步骤未被覆盖则过滤任务，再结合 forbidden constraints 形成 rubrics。
4. LLM judge 按 rubric 计算完成的 subgoal fraction 与 user-interaction fraction，二者平均作为 reward；一旦违反 forbidden behavior 则归零。最终训练还加入经 persona 场景化改写的 search/math tasks，以补充 reasoning 能力。