GenesisFunc: Multi-Agent Data Generation for Accurate and Generalizable Function-Calling

Idea

GenesisFunc 是 function-calling 训练数据生成 pipeline，以筛选后的 benchmark tool schemas 为基础，让多 agent 协同控制工具组合、对话语义多样性、参数覆盖与质量筛查。贡献主要在合成监督数据设计，而非为推理时再加入一套多 agent 执行系统。

Research Problem

真实 function-calling 数据昂贵，既有合成流程可能依赖不可靠 API、反复生成相似场景，或只覆盖简单调用。实际请求还包含多任务、多轮缺参数、无关工具和错误处理，若缺乏这些数据及分层检查，微调模型容易在工具选择、参数抽取和分布外工具上失效。

Insight

数据多样性需要同时改变工具组合、工具使用语境与 optional slots，单纯扩大样本量不足以保证覆盖。把 generation-time ranking 与 post-hoc semantic validation 分开，再把有限人工资源集中到低置信度和关键参数错误，可以用较低审校成本改善监督信号。

Method

1. 从 BFCL evaluation tools 经 GPT-4o 语义聚类去重和轻量人工验证得到 1,000-tool pool。Sample Agent 选择功能相关 target tools 与不同相关度 distractors，为每次对话设定候选 action space。
2. Memory Agent 为历史对话标注语义场景并引导未出现的 context；Function Agent 选择工具、抽取必需参数并随机实例化部分 optional parameters；Judge Agent 从每轮四个候选中根据意义和工具适配性择优。
3. User/Assistant agents 生成 single-turn、multi-turn、single/multi-task 和 relevance/error special cases。Assistant 可 call、ask 或 answer，缺少条件时澄清，并记录 turn-level tool/payload 供审查与记忆复用。
4. Rule Checker 不执行工具，检查 schema、格式、参数、对话结构及声明一致性；GPT-4o Model Checker 再审 faithfulness 与 task satisfaction，低分或规则失败样本进入定向人工修订和复检。用所得数据微调 8B 模型，比较域内 function calling 与 OOD 泛化、工具规模和数据消融。