ARCHITECT: Uncertainty-Aware Dynamic Tool Learning via Causal Intervention for Open-World Agents

Idea

ARCHITECT 在动态工具生成、验证、修复和复用中引入 Causal Tool Diagnosis（CTD），同时预测可靠性与 specification/code/environment 三类失败归因。它通过 sandbox 中改变文档、代码保护和 API 响应得到干预信号，使低 confidence 工具获得有方向的修复，而非一律重新生成。

Research Problem

动态生成工具扩展了开放环境 agent 的能力，但作者对 1,247 个工具的分析发现首次调用失败并不少见。仅输出 scalar uncertainty 的方法只能提示风险，无法判断应补充 API 文档、修改实现还是更换接口；同一种表面 error 也可能来自不同上游原因，导致通用 self-correction 浪费尝试。

Insight

可执行代码允许控制条件进行实验，因而可以超越纯文本自评，对不同失败路径提供更具体的证据。作者用 specification→code→execution→outcome 加 specification 直连 execution/outcome 的 SCM 组织这些因素，并让图结构约束诊断网络的信息流；归因的价值在于它可以直接选择修复策略。

Method

1. 先从语义工具库检索并按 confidence 与历史成功率优先复用；不足时检索官方 API docs、生成代码，并在 Docker sandbox 做 syntax、生成测试与 output format 三阶段检查，采集 execution 特征。
2. 固定代码改变 Mock API 响应，固定环境删除 guard/type-check 等防护，或改变同 API 的文档完整性后重生成工具，分别估计不同路径的干预影响。文档干预包含经代码传播的 total effect，各类干预效应不直接跨因素比较。
3. CTDNet 用 Sentence-BERT 编码 specification、CodeBERT 编码代码，并编码状态和 exception；两层 GAT 只沿 SCM 方向传递消息，两个 heads 输出 confidence 与 root-cause distribution，以 BCE 加 attribution CE 联合训练。
4. 按主导归因选择补文档、局部修复或 API replacement/retry，重新验证并更新 confidence，最多三轮；工具库对低成功率或重复错误触发 evolution，跨领域积累样本后适配诊断参数。用 StableToolBench、MINT、T-Eval、SWE-bench Lite 评估任务成功、排序相关和归因准确率。