MCP-Flow: Facilitating LLM Agents to Master Real-World, Diverse and Scaling MCP Tools

Idea

MCP-Flow 建立从真实 MCP marketplace 发现服务器、获取工具 schema、合成指令调用到模型训练的可扩展流水线。它把不断增长的工具生态转为训练资源，并区分有工具标签的 instruction-call pairs 与真正取得工具返回的完整 trajectories。

Research Problem

MCP 服务器分散在不同站点与仓库，配置和文档各异，人工收集难跟上新增工具；已有研究覆盖服务器较少且偏评测，缺少能训练模型的广泛数据。直接根据工具描述生成指令又可能过于近似文档、参数缺失或调用不可执行，导致虚假的易任务。

Insight

从工具端开始生成可以天然确定目标工具，再通过 slot filling 明确参数、指令演化扩展表达，并用真实客户端执行补充 observation。将发现、去重、生成和过滤分开，可增量纳入新服务器，而不必每次重新人工整理全部生态。

Method

1. Web agent 在人工定义的高层流程内浏览多个 marketplace，读取服务器 JSON 配置；按工具描述列表去重，并用本地 MCP client 部署 stdio 或连接 SSE 服务，收集 name、description 和 input schema。
2. 每个工具基于 few-shot examples 生成多条指令，把必需参数当作 slots 补齐并改写查询，再用规则替换残余占位符，随后进行两轮 WizardLM-style instruction evolution。
3. 给定目标工具、schema 与指令生成 function call，通过真实 MCP server 获取返回并由 assistant 汇总，组装完整 trajectory；受权限、API key 或软件依赖限制的服务器并非都能产生有效返回。
4. 过滤与工具描述 embedding 过近的指令，以双模型简化工具选择核查标签，再用独立模型对指令和调用质量评分；用保留数据微调模型，并在 seen tools、unseen tools、unseen servers 及较大候选集评估工具选择和参数结构。