When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors

Idea

论文用 Response Pattern Similarity（RPS）与 Action Graph Similarity（AGS）分别描述 agent 的语言习惯和工具使用习惯，重点比较完成同一任务时的可选行为。通过 stage-aligned text comparison 与 tool-call graph features，分析 distillation 后的 behavioral convergence。

Research Problem

成功解决同一工具任务本就需要调用部分相同 API，直接比较文本或全图结构会把任务约束带来的相似误判为模型模仿；轨迹长度不同也使 turn-by-turn alignment 失真。研究问题是如何提取任务成功所不强制要求的行为模式，并区分能力提升与 teacher-specific convergence。

Insight

Mandatory actions 与 autonomous preferences 应分开分析，语言风格和工具依赖结构也提供不同维度的证据。控制实验可以测试 distillation 是否提高对 teacher 的相似度，但公开模型之间的高 RPS/AGS 只说明行为相近，不能独立证明其训练来源或存在 distillation。

Method

1. 将 trajectory messages 标注为 Authentication、Elicitation、Execution、Verification、Notification 五类 stage；RPS 仅比较两模型共享的 stages，由 LLM judge 评分 Style、Structure、Alignment 及 Overall，再聚合 Overall。
2. 构建 Action Flow Graph：node 记录 tool name、args、result；相邻调用形成 sequential edge，后续参数使用前面输出形成 dependency edge，字符串重叠候选需经 LLM 验证；已存在 dependency 时省去重复 sequential edge。
3. 把同任务成功轨迹的 tool-set intersection 视为 mandatory tools，对其余 optional tools 计算使用/跳过 agreement；再以局部调用习惯与 output reuse、dependency-chain、fan-out 等 feature vectors 的 cosine similarity 形成 AGS 子指标。
4. 在 τ-Bench、τ²-Bench 比较多模型，并用受控 LoRA distillation 与 non-teacher control 检验 teacher-specific shift；分别分析 both-correct、both-wrong、mixed outcomes，减少共同成功路径对结论的混淆。