SGVEF-LOOP: Coverage-Guided Progressive Topological Exploration and Fact-Grounded Metamorphic Evaluation for MCP Agents

Idea

SGVEF-LOOP 把 MCP benchmark 构造视为探索隐含工具转移图的闭环过程：主动寻找覆盖不足的工具组合，生成语义等价查询对，并检查参数可解性与执行稳定性。它以 metamorphic relations 降低逐题人工标准答案依赖，同时保留有效但基线尚不能完成的难题。

Research Problem

工具组合空间巨大但有效工作流稀疏，随机组合多为不合理链路，静态任务又难说明覆盖程度。LLM 合成还会编造前文无法得到的参数，且通常只检查一次答案，遗漏改写请求后工具行为不一致的问题。仅保留构造模型成功的任务会形成 benchmark ceiling。

Insight

有效转移必须同时满足语义合理与后继参数能从初始上下文或前序输出推出。将相同意图的语言变体作为成对测试，可以用相互一致性发现行为问题；将执行有效性与最终正确性分开，才能不让测试难度被构造代理能力限制。

Method

1. 建立 Latent Tool Transition Graph，先按工具使用频率反向采样直到节点覆盖充分，再按 server 类别和有限工具实例分层采样，重点扩展尚未覆盖的转移。
2. 由候选工具合成 scenario 与 fact-seeking query，从 Wikipedia 向量库获取静态属性消歧事实，生成共享目标 trace 的语义等价查询对；不兼容组合直接拒绝重采样。
3. Dual Critic 检查 intent equivalence 与 parameter solvability，提供诊断进行迭代修正；高置信样本自动接受，边界样本人工复核，再执行过滤运行异常而保留 valid-but-unsolved cases。
4. 将执行 traces 更新工具计数、边集合和 Chao1 覆盖估计，反馈采样；收敛后从种子自演化并语义去重。评价结合 Tool Call Score、Metamorphic Consistency、Fault Density、答案质量与 execution-completion gap。