# Agent Tool Use：CVPR 与 ACL 2026 文献笔记 这份笔记整理 **359 篇主会论文**：CVPR 2026 共 110 篇，ACL 2026 共 249 篇，覆盖 tool calling、多模态、search、GUI / Web、code execution 与 embodied agents。 每篇独立阅读页按 **Idea → Research Problem → Insight → Method** 展开，中文解释保留英文专业术语。Method 写明关键模块、数据与训练流程、执行方式；Sources 提供官方 PDF 与核读页码。 [打开交互式文献检索](https://boran002.github.io/papers/agent-tool-use-2026/explorer/) · [下载全部笔记（Markdown）](https://boran002.github.io/papers/agent-tool-use-2026/notes.md) · [结构化数据（JSON）](https://boran002.github.io/data/agent-tool-use-2026.json) 仅收录 CVPR Main 与 ACL Long / Short，排除 Findings、Workshop、Industry 和 Demo。172 篇标为直接工具使用，187 篇为相关的执行、规划、记忆、安全和评测研究；九个方向用于阅读导航，边界存在交叉。 > 检索日期：2026-10-24。详细笔记依据官方正文整理，Insight 为对论文机制的分析性概括；未独立复现实验，清单不保证零遗漏。正式录用来源为 [CVF](https://openaccess.thecvf.com/CVPR2026?day=all) 和 [ACL Anthology](https://aclanthology.org/events/acl-2026/)。 ## 01 · 工具调用 / 训练 / 评测 64 篇 · CVPR 8 · ACL 56 ### EpiAgent: An Agent-Centric System for Ancient Inscription Restoration CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhu_EpiAgent_An_Agent-Centric_System_for_Ancient_Inscription_Restoration_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c39/) #### Idea EpiAgent 将古代碑文修复组织为 Observe–Conceive–Execute–Reevaluate 循环，由 Kimi-K2 central planner 根据文字、字形、损伤程度与历史工具经验，为每个字符制定和修改修复序列。系统同时追求 textual authenticity 与 calligraphic fidelity，避免整张图一次修复造成过度修复或风格失真。 #### Research Problem 碑文具有语义与字形紧密耦合的特征，不同位置可能同时存在背景噪声、缺笔和严重缺字。通用 image restoration 工具不理解古文语义和书法风格，刚性流水线又会传播错误。字符级模型难保证全碑一致，而单一 restorer 难兼顾完整笔画保护与严重缺损重建。 #### Insight 恢复内容、恢复结构及恢复风格应由不同证据与工具支持。先建立可靠字符布局和文字假设，再按字符损伤自适应安排工具；评价时分别检验 OCR 一致性和风格相似性，才能定位失败字符并有针对性地重规划。历史成功率可提供初始策略，而反馈让策略随实际修复更新。 #### Method 1. Observe 阶段用 MLLM 给出初始 layout 与文字 hypotheses。经微调的 Corrective Language Model 结合 Chinese corpus RAG 校正文本，Layout Rectification Module 补齐缺失位置，Degradation Assessment Module 输出 pixel masks 和四档 severity。 2. Conceive 阶段从历史 execution logs 估计 degradation patterns 对应的 tool-efficacy distributions，planner 联合 observation record 和经验，为每个字符生成有序工具列表。 3. Execute 提供 diffusion-based background denoising、stroke completion 和 font imitation，分别去噪、局部补笔和利用同碑高质量字符的 style priors 重建字形。Character Retrieval 从原碑查找同字，作为不可恢复字符的替代方案。 4. Reevaluate 比较 OCR 与 corrected reading 的 CER、当前字形与参考 style embeddings 的 cosine similarity，并可纳入专家接受信号。未达阈值的字符进入新计划，达到标准或迭代预算后停止，最终日志用于更新经验。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhu_EpiAgent_An_Agent-Centric_System_for_Ancient_Inscription_Restoration_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhu_EpiAgent_An_Agent-Centric_System_for_Ancient_Inscription_Restoration_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhu_EpiAgent_An_Agent-Centric_System_for_Ancient_Inscription_Restoration_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhu_EpiAgent_An_Agent-Centric_System_for_Ancient_Inscription_Restoration_CVPR_2026_paper.pdf#page=5) 核读章节：3.1. Observe Stage · 3.2. Conceive Stage · 3.3. Execute Stage · 3.4. Reevaluate Stage 依据正文 character-level planning、四类工具及停止条件整理。text authenticity 指相对 corrected reading 的一致性，历史原文判断仍依赖该 reading 和可选专家校验。 ### From Intuition to Investigation: A Tool-Augmented Reasoning MLLM Framework for Generalizable Face Anti-Spoofing CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhang_From_Intuition_to_Investigation_A_Tool-Augmented_Reasoning_MLLM_Framework_for_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c44/) #### Idea TAR-FAS 将 Face Anti-Spoofing 从直观的二分类或简短描述，改成 Chain-of-Thought with Visual Tools：先形成初始判断，再按需检查纹理、频率、边缘或局部区域，最后给出 Real / Spoof 结论。ToolFAS-16K 与三阶段训练让普通 MLLM 学习工具辅助调查。 #### Research Problem 跨数据域的攻击材料和成像条件变化，使传统 classifier 难泛化；简单语义描述主要捕捉面罩轮廓等明显线索，难利用高质量打印或屏幕回放的微弱频谱、纹理证据。通用 MLLM 对工具变换图的解读也不一定可靠，直接生成推理标注可能产生错误证据。 #### Insight 已有 FAS 专用视觉算子把不同伪造痕迹转成互补观察，而 expert classifiers 可以为轨迹标注提供工具结果参考。训练时保留快速分类能力，同时让最终正确性约束多样工具探索，能够把已有领域知识与按需深入检查结合。 #### Method 1. 从 CelebA-Spoof 取 16,172 张 real 与十类 spoof 图像，配置 Zoom-In、LBP、FFT、Wavelet、Laplacian edge 和 HOG 工具，分别暴露局部、纹理、频域及结构线索。 2. Gemini-2.5-Pro 生成最多六轮 reasoning–tool / reasoning–answer 轨迹。标注时提供类别提示，工具专属轻量 binary expert 给出 spoof probability；检查最终标签、调用格式及分析逻辑，并排除泄漏 hint 或 expert confidence 的文本。 3. 先用普通 FAS 描述监督传递领域知识，再用 ToolFAS-16K 注入多轮协议；对首轮分类 loss 加权，避免学习长轨迹时丢失基础分类能力。 4. DT-GRPO 对同题采样轨迹，组合 fast classification、最终 reasoning 分类及工具多样性 reward；两类答案均受格式约束，工具 reward 只在最终判断正确时生效。以单一 CelebA-Spoof 训练、十一目标域测试，使用 HTER 和 AUC 检验泛化。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_From_Intuition_to_Investigation_A_Tool-Augmented_Reasoning_MLLM_Framework_for_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_From_Intuition_to_Investigation_A_Tool-Augmented_Reasoning_MLLM_Framework_for_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_From_Intuition_to_Investigation_A_Tool-Augmented_Reasoning_MLLM_Framework_for_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_From_Intuition_to_Investigation_A_Tool-Augmented_Reasoning_MLLM_Framework_for_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_From_Intuition_to_Investigation_A_Tool-Augmented_Reasoning_MLLM_Framework_for_CVPR_2026_paper.pdf#page=6) 核读章节：Tool-Augmented Data Annotation · Data and Tool Selection · Annotation Workflow · Data Verification and Re-Annotation · Tool-Aware FAS Training Pipeline · Diverse-Tool GRPO 依据数据与训练正文整理。工具专家的类别提示用于 annotation 阶段，未将其误写为测试阶段可获得的真实标签。 ### IPR-1: Interactive Physical Reasoner CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhang_IPR-1_Interactive_Physical_Reasoner_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c61/) #### Idea IPR-1 用可学习的 physics-centric action code（PhysCode）连接 VLM policy 与 world model。VLM 生成候选 latent actions，world model 在相同空间想象短期后果并估值，再选择可执行动作和提供策略训练信号，目标是从多样游戏交互中获得可迁移物理推理。 #### Research Problem VLM/VLA 能表达行动意图，却通常缺少执行前 look-ahead；world models 可以预测视觉变化，但容易依赖表面外观而非物理机制。Raw keyboard controls 在不同游戏有语义别名，语言动作又不能精确表达冲量、摩擦滑动等细粒度动力学，二者都不是自然的跨域共享接口。 #### Insight 要让预测真正约束 reasoning，二者需要共享能够编码干预动力学的 action representation。外观、motion 与轻量 semantic hints 一起学习的 discrete code 可把相似物理变化聚合，同时保留不同动力学的差异。Feature-level 预测进一步减少渲染变化，使想象中的价值更易用于策略筛选。 #### Method 1. 在多游戏视频上融合 DINOv3 appearance、相邻帧 optical flow 和 T5 semantic hints，由 spatio-temporal encoder、VQ codebook 与 future-feature decoder 学习 PhysCode。VQ-VAE loss 配合 flow modality dropout 和 gate sparsity，推理时关闭只能预训练获得的 flow 输入。 2. 固定 action vocabulary 后训练 latent-conditioned world model，预测下一步视觉 feature，并以 TD backups 的 Q-learning-style objective 学习 critic head，估计候选干预的未来回报。 3. 给 Qwen3-VL-8B tokenizer 加入 PhysCode tokens，先以当前 feature 与 latent action 对做监督对齐。随后每个状态采样多条 action sequences，用短期 imagined rollouts 得到 returns 和 advantages，经带 KL 的 GRPO 更新 policy。 4. 推理时生成候选、world model 评分剪枝、选择动作，再由 environment router 映射到具体游戏控制。G2U 通过 retro、HTML/Canvas 和商业游戏的多样来源，分别评价 survival、curiosity exploration 与 goal-driven utility，并研究未见游戏迁移。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_IPR-1_Interactive_Physical_Reasoner_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_IPR-1_Interactive_Physical_Reasoner_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_IPR-1_Interactive_Physical_Reasoner_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_IPR-1_Interactive_Physical_Reasoner_CVPR_2026_paper.pdf#page=5) 核读章节：Problem Setting · PhysCode: Physics-centric Action Code · Method · Setup: Datasets, Tasks, and Metrics 依据 action vocabulary、world model 与 prediction-reinforced reasoning 正文整理。物理迁移是作者的经验主张，PhysCode 并非显式求解全部物理方程。 ### Scaling Agentic Reinforcement Learning for Tool-Integrated Reasoning in VLMs CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Lu_Scaling_Agentic_Reinforcement_Learning_for_Tool-Integrated_Reasoning_in_VLMs_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c115/) #### Idea VISTA-Gym 将多种视觉推理任务、26 个工具、可执行交互及可验证答案统一为 agentic RL environment，并训练 VISTA-R1 学习交错 reasoning 与 tool calls。贡献同时覆盖任务与工具接口、可扩展运行设施以及 imitation-learning warmup 加 online RL 的训练路线。 #### Research Problem 直接为 VLM 开放工具并不一定改善视觉问答。作者检查 500 个失败样本，发现问题不仅在最终 reasoning，还包括 schema、参数名称、参数内容与工具输出使用。现有视觉工具训练常局限于 crop 或 image search 等单种操作，缺少覆盖不同推理类型、支持高频执行和稳定反馈的基础环境。 #### Insight 视觉工具能力是选择、调用和使用返回结果的一组连续决策，应在真实执行循环中共同训练。统一环境使错误可观察、轨迹可审计，多任务工具组合则让模型学习跨任务可迁移的调用规律。与此同时，重型 VLM tools 的高并发服务化决定了这种训练是否能扩展。 #### Method 1. 从 13 个数据集汇集 chart、geometry、geospatial、science、document 和 spatial/compositional 等七类任务，把工具组织为 perception、chart understanding、diagram formalization、math solvers 四组。 2. 通过 Gymnasium-style reset/step 接口接收 typed tool identifier 和 arguments，返回结构化结果或 runtime errors。FastAPI、工具适配层和 Ray Actors 保持模型常驻 GPU，并以异步 batching、队列和故障恢复支持并发 rollout。 3. 先用 GPT-5 生成实际工具轨迹，按 final answer exact match 筛选，再由 Qwen3-VL-235B-A22B-Thinking 扩展简短 rationale。behavioral cloning 学习 thought-action interleaving 和基本工具语法。 4. 在线 GRPO 采样多轮完整交互，以 repetition penalty、每轮 protocol format 和 rule-based answer correctness 构成奖励。正确性奖励只在无重复且格式有效时生效，训练完成后在五个分布内和六个分布外 VQA 测试集评价。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Lu_Scaling_Agentic_Reinforcement_Learning_for_Tool-Integrated_Reasoning_in_VLMs_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Lu_Scaling_Agentic_Reinforcement_Learning_for_Tool-Integrated_Reasoning_in_VLMs_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Lu_Scaling_Agentic_Reinforcement_Learning_for_Tool-Integrated_Reasoning_in_VLMs_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Lu_Scaling_Agentic_Reinforcement_Learning_for_Tool-Integrated_Reasoning_in_VLMs_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Lu_Scaling_Agentic_Reinforcement_Learning_for_Tool-Integrated_Reasoning_in_VLMs_CVPR_2026_paper.pdf#page=5) 核读章节：3. Preliminaries · 4. VISTA-Gym: A Scalable Tool-Integrated Agentic Training Environment for VLMs · 5.1. Two-Stage Training Framework · 5.2. Reward Design · 6.1. Experiment Setups 依据正文错误诊断、环境和训练流程整理。主表多数通用 baselines 不开放工具，原生 tool-integrated baselines 保留其工具配置，因此比较并非全部采用相同工具权限。 ### Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/He_Training_One_Model_to_Master_Cross-Level_Agentic_Actions_via_Reinforcement_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c140/) #### Idea CrossHA 将 action-space selection 与具体动作内容放进同一 policy，在 Minecraft 任务中动态选择 language、grounding、motion、raw 或 latent 等不同层级接口。训练从混合动作 SFT、单步 RL 逐步推进到在线多轮 RL，学习各阶段适合的控制粒度。 #### Research Problem 固定动作接口各有弱点：高层控制高效但可能不精确，低层操作灵活却冗长。把多种轨迹混合训练只会教会多种语法，并不保证模型会依据状态选对接口；单步动作正确也不代表长程任务中选择足够稳健或高效。 #### Insight 不同表示可能对应相同的 canonical raw action，因此可先用统一执行语义奖励动作正确性，解除对特定表面格式的偏好，再用任务完成和整段 token 成本学习长期取舍。关键是把接口选择本身作为可学习的决策变量。 #### Method 1. 以 Minecraft VQA / caption 数据适配 Qwen2-VL-7B，并用 SAM grounding 与 MineCLIP motion 模块为 VPT、人工轨迹增加不同动作表示。Mixed-Space SFT 先建立多动作空间的语义和格式基础。 2. Diversity-Enhanced SFT 为同一上下文生成不同空间的候选，依据环境或 parser 保留可执行正确动作并重平衡数据。Single-Turn GRPO 再按 parser 映射后的 raw action 是否与 GT 一致给二元 reward。 3. 将单步 RL 的正确预测回填为新标签，错误预测继续使用原标签，在保持 raw semantics 的条件下蒸馏已学接口偏好，形成 multi-turn RL 的 supervised 初始化。 4. 在线 Multi-Turn RL 使用整条 trajectory 的任务成功二元 reward，并惩罚总生成 token 数，鼓励成功时采用更简洁表示。训练选取挖掘、制作、战斗共 30 个任务，在 800 多项 OpenHA 任务上报告任务覆盖 FT 与平均成功率 ASR。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/He_Training_One_Model_to_Master_Cross-Level_Agentic_Actions_via_Reinforcement_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/He_Training_One_Model_to_Master_Cross-Level_Agentic_Actions_via_Reinforcement_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/He_Training_One_Model_to_Master_Cross-Level_Agentic_Actions_via_Reinforcement_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/He_Training_One_Model_to_Master_Cross-Level_Agentic_Actions_via_Reinforcement_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/He_Training_One_Model_to_Master_Cross-Level_Agentic_Actions_via_Reinforcement_CVPR_2026_paper.pdf#page=6) 核读章节：Stage-1: Mixed-Space SFT · Stage-2: Single-Turn RL · Stage-3: Multi-Turn RL · Initialization via Self-Training · Trajectory Optimization · Experimental Setup 读取所有训练阶段及 Minecraft 实验。论文以 API、GUI 等解释一般动机，实证来自 Minecraft，未写成已完成真实 Web 或机器人实验。 ### DRAMA: Next-Gen Dynamic Orchestration for Resilient Multi-Agent Ecosystems in Flux CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhao_DRAMA_Next-Gen_Dynamic_Orchestration_for_Resilient_Multi-Agent_Ecosystems_in_Flux_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c26/) #### Idea DRAMA 为成员随时加入、退出或恢复的 embodied multi-agent systems 提供动态任务编排。Strategic Layer 计算 agent-task affinity 并分配任务，Collective Intelligence Layer 汇总空间经验预测对象位置，Autonomous Layer 让每个 agent 同时执行任务并监测同伴，通过 trust-chain 实现故障接管。 #### Research Problem 静态角色与固定任务分配在 agent dropout、负载变化或新任务到达时容易留下无人执行的目标。即使有周期性重新分配，也可能无法及时响应故障。分布式探索若缺少共享对象位置经验，会重复搜索并进一步降低吞吐，单靠增加 agent 数量不能解决调度与连续性问题。 #### Insight 任务分配、共享空间知识和局部故障恢复应联动。位置预测决定谁更适合执行，执行过程产生的新观察反过来改进预测；预先建立有序备援关系则使故障发生时无需完全重新协商。将 executor 与 guardian 双重职责下放，可在全局协调之外保留局部恢复能力。 #### Method 1. 汇总各 agent 的对象-位置 observations，训练 MLP predictor 估计给定 room/context 下的 object-location distribution，以期望位置或最可能位置作为任务空间先验。 2. Affinity 用可用 workload capacity 的正项和到预测任务位置距离的负项组成。Dual-Capacity Hungarian Assignment 将每个真实 agent 展开为两个 virtual slots，再求 assignment 并合并，使一个 agent 最多持有两项任务。 3. 对每项任务建立按 affinity 排列的 guardian chain，primary executor 位于链首，后继监测前驱状态。故障后由下一 guardian 接管未完成任务，并重新校准负载与 affinity。 4. Autonomous Layer 保留关键子任务详细 memory、压缩近期次要历史，完成感知、细化计划和动作执行，同时通过 heartbeat/status monitoring 检测异常。在扩展 VirtualHome-Social 场景中分析动态成员、任务冲突、运行效率与鲁棒性。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_DRAMA_Next-Gen_Dynamic_Orchestration_for_Resilient_Multi-Agent_Ecosystems_in_Flux_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_DRAMA_Next-Gen_Dynamic_Orchestration_for_Resilient_Multi-Agent_Ecosystems_in_Flux_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_DRAMA_Next-Gen_Dynamic_Orchestration_for_Resilient_Multi-Agent_Ecosystems_in_Flux_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_DRAMA_Next-Gen_Dynamic_Orchestration_for_Resilient_Multi-Agent_Ecosystems_in_Flux_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_DRAMA_Next-Gen_Dynamic_Orchestration_for_Resilient_Multi-Agent_Ecosystems_in_Flux_CVPR_2026_paper.pdf#page=5) 核读章节：3.1. Strategic Layer · Algorithm 1 Dual-Capacity Hungarian Assignment · 3.2. Collective Intelligence Layer · 3.3. Autonomous Layer · 4. Experiment Setup 依据正文三层架构、分配算法与接管机制整理。Hungarian 的最优性针对所定义 affinity/capacity assignment 问题，不等同于完整长期 embodied task 的全局最优保证。 ### GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wei_GTR-Turbo_Merged_Checkpoint_is_Secretly_a_Free_Teacher_for_Agentic_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c46/) #### Idea GTR-Turbo 将 agent 在持续 RL 训练中保存的历史 checkpoints 合并为 teacher，用它替代外部昂贵 VLM 的逐步 thought guidance。Merged teacher 与 student 同源，通过 SFT 或 soft-logit reverse-KL 两种路线提供密集推理约束，并随训练继续更新。 #### Research Problem 多轮视觉 agent 的环境 reward 稀疏、credit assignment 长，纯 RL 可能出现重复且贫乏的 thought collapse。GTR 等引入强教师能缓解，但在线逐步 API 调用成本高、慢且受外部模型可用性约束，小教师又可能无法生成可靠指导。 #### Insight 同一训练轨迹上的历史模型保留不同阶段经验，其权重合并在作者实验中比瞬时 checkpoint 更平稳，可形成无需额外训练的新指导者。通过分布级约束保留更丰富的 token 概率信息，还能省掉教师逐 token 自回归生成和单独 thought dataset。 #### Method 1. 每次 RL 更新保存 checkpoint，构建历史 buffer。采用 TIES：保留幅度较大的参数变化，选定各参数主导符号，仅平均符号一致的变化以减少干扰，并比较 SMA 与更偏向近期模型的 EMA 权重。 2. SFT variant 在 student 根据 observation 生成 thought/action 后，让 merged teacher 在相同上下文产生 reference thought，存入 replay buffer；PPO 更新时叠加 thought token 的 supervised loss，并配合 format reward 和 DAgger。 3. KL variant 对 student 已生成的 thought 做 teacher parallel forward，估计 token 平均 reverse KL，将其作为负的辅助 thought signal 调整 PPO advantage；处理采样 KL 估计的负值，以免产生方向错误的奖励。 4. 从 SFT 初始化 Qwen2.5-VL-7B，在 Points24 与 ALFWorld 多步环境中比较纯 PPO、外部教师 GTR 和两种 self-guided variants，同时跟踪 success、episode return、训练稳定性及时间/计算开销。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wei_GTR-Turbo_Merged_Checkpoint_is_Secretly_a_Free_Teacher_for_Agentic_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wei_GTR-Turbo_Merged_Checkpoint_is_Secretly_a_Free_Teacher_for_Agentic_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wei_GTR-Turbo_Merged_Checkpoint_is_Secretly_a_Free_Teacher_for_Agentic_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wei_GTR-Turbo_Merged_Checkpoint_is_Secretly_a_Free_Teacher_for_Agentic_CVPR_2026_paper.pdf#page=5) 核读章节：Merged Checkpoints as the Teacher · Merging Method · Weight Adjustment Variants · Thought Guidance via Supervised Fine-tuning · Soft Logit Distillation via Minimizing Reverse KL Divergence · Experimental Setup 读取 merging、两种指导损失及实验设置。free teacher 指不需外部教师或额外训练，仍需储存合并模型和进行 teacher inference，并非零计算成本。 ### VS-Bench: Evaluating VLMs for Strategic Abilities in Multi-Agent Environments CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xu_VS-Bench_Evaluating_VLMs_for_Strategic_Abilities_in_Multi-Agent_Environments_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c145/) #### Idea VS-Bench 用十种具有图像与文字观察的 multi-agent games 分别测试 VLM 的 perception、strategic reasoning 和 decision-making。它把会认画面、会预测他人动作以及真正获得长期回报拆开评价，以定位多模态策略能力的瓶颈。 #### Research Problem 已有交互基准多是单 Agent 或 text-only，难覆盖视觉感知与合作/竞争策略同时存在的环境。最终任务分数又会混合感知错误、对他人意图的误判和长期规划缺陷，无法判断模型高质量描述是否转化为有效战略行为。 #### Insight 多 Agent 的结果由 joint actions 决定，识别环境元素只是必要条件，策略还需推断他人动作并在部分可观测和利益冲突下行动。将三个能力维度置于共同环境并设置 random/oracle anchors，可以显示视觉理解强但策略表现低的分离现象。 #### Method 1. 将环境统一为 Partially Observable Markov Games，每个角色接收 image/text observation，输出文本 action 后由 mapping 转成原游戏动作。涵盖 Hanabi、Overcooked、KAZ 等合作游戏，Breakthrough、Kuhn Poker、Pong、MPE 等竞争游戏及三种 mixed-motive games。 2. Perception 每环境采集 400 个真实 gameplay states 与 ground-truth labels，问物体位置、方向、数值或 game status，以 element-recognition accuracy 评估基础视觉理解。 3. Strategic reasoning 每环境构建 400 个可预测、平衡而多样的样本，要求预测其他 agents 的 next actions，用 prediction accuracy 衡量 perspective-taking，而不是让模型仅口头解释策略。 4. Decision-making 通过 self-play 或与 conventional agents 交互统计 episode returns，以 random=0、oracle=100 归一化。比较十五种 VLM，进一步替换为 text-only observations、分析 test-time scaling、social behaviors 和 human performance，分辨模态与交互带来的困难。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_VS-Bench_Evaluating_VLMs_for_Strategic_Abilities_in_Multi-Agent_Environments_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_VS-Bench_Evaluating_VLMs_for_Strategic_Abilities_in_Multi-Agent_Environments_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_VS-Bench_Evaluating_VLMs_for_Strategic_Abilities_in_Multi-Agent_Environments_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_VS-Bench_Evaluating_VLMs_for_Strategic_Abilities_in_Multi-Agent_Environments_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_VS-Bench_Evaluating_VLMs_for_Strategic_Abilities_in_Multi-Agent_Environments_CVPR_2026_paper.pdf#page=6) 核读章节：Problem formulation · Multi-agent environments · Perception · Strategic reasoning · Decision-making · Multimodal observations 依据正文 benchmark taxonomy、三维评价与分析设计整理。最高 prediction accuracy/normalized return 的结论针对论文测试的模型版本和环境，不外推为所有 VLM 的固定上限。 ### A Multi-Agent Framework for High-Interaction Terminal Simulation ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1515/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e185/) #### Idea MANTIS 将高交互 terminal simulation 拆成命令路由、状态维护与输出生成，通过真实状态快照和 state-aware history pruning 保持多轮一致性。简单只读命令由确定性 handler 响应，复杂状态变更交给分工代理处理，使终端输出既遵守格式又能追踪文件、权限和会话变化。 #### Research Problem 脚本模拟器难覆盖复杂交互，单个 LLM 则容易误解 shell 语义、编造输出或忘记早期状态，还可能被 prompt injection 拉离终端角色。普通摘要或最近历史截断会丢失路径、权限、工作目录等细节，这些细节又直接决定后续命令行为。 #### Insight 模拟终端需要保存因果状态，而不只是像终端的文字。将系统 snapshot 与完整持久日志独立于有限上下文维护，再优先保留产生关键状态变化的命令，可以在控制上下文大小时保留后续执行依赖。路由也使不同命令采用适合的执行机制。 #### Method 1. Arbiter 记录执行前后 snapshot、system/session/authentication logs，并用 routing model 分类 Read、Write、Rejection；Read 调用状态读取 handler，非法或注入输入返回 shell 风格错误。 2. Write 交给 Strategic Agent 处理必要历史和状态上下文，可选地生成 honeypot 场景响应计划；系统更新 snapshot 与精简历史后，Response Agent 根据当前状态和计划生成输出并记录 trace。 3. Agentic file system 以统一命名空间保存各类上下文工件；上传和修改文件进入专用 Docker sandbox，仅记录内容与结构变化，隔离宿主执行和外网访问。 4. History pruning 始终保留完整持久历史，但限制模型可见窗口；按重复命令、状态变化等级和时间老旧程度依次选择淘汰记录，优先保护权限身份、持久配置等关键变化，支持长时状态连续性。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1515.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1515.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1515.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1515.pdf#page=5) 核读章节：System Design · Multi-Agent Design · Agentic File System Design · Role-based File System · History Pruning for In-Context Memory 核读三代理职责、Algorithm 1 路由和 Algorithm 2 历史裁剪。该系统研究对象是受控终端模拟，生成的响应并不意味着相应命令真实在宿主执行；持久日志与模型上下文窗口明确分离。 ### AgentGL: Towards Agentic Graph Learning with LLMs via Reinforcement Learning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1161/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a50/) #### Idea AgentGL 把 Text-Attributed Graph 上的 node classification 与 link prediction 改成 graph-native 工具探索和语言推理交替进行的 RL 问题。先教 agent 使用多尺度拓扑/语义检索，再移除覆盖激励并促使其充分分析已有证据，从而减少过度搜索。 #### Research Problem 静态 GraphLLM 只在开始时取一次邻域，无法根据推理中的缺口继续访问结构；一般 agentic retrieval 仅匹配文本而忽略原生图关系，重新建造知识图的 GraphRAG 也未必保留真实拓扑。直接 RL 还面临工具探索坍缩、搜索冗余和样本难度差异。 #### Insight 局部/全局与结构/语义是互补证据轴，工具需要覆盖这些轴；但学会调用全部工具不等于最优推理。分阶段由 exploration 转为 evidence sufficiency 判断，并借图本身的同质性、degree 或语义一致性安排课程，可把工具可用性与效率学习分开。 #### Method 1. 提供 1-hop、2-hop neighborhood search、基于 PPR 的 structure salience search 和 graph dense search；邻域候选优先共同邻居，再平衡独有邻居，以 query/target 融合 embedding 排序。 2. 构造可解析 reason–act–observe 轨迹，每轮至多一个检索动作，返回节点文本；使用 GRPO 或 REINFORCE++，无需逐步示范，以格式、答案正确性和每种工具一次性的 coverage reward 启动策略。 3. 第二阶段在检索后插入 retrospective termination 提示，要求检查证据是否足够；去掉 coverage reward，对过短的 post-retrieval reasoning segments 施罚，并保留格式与正确性目标。 4. 两阶段均按 graph-conditioned curriculum 由易到难训练：node classification 结合邻居标签一致性的 Wilson lower bound 与 degree，link prediction 按语义相似性和边存在标签的一致性评分。 5. 在 citation、product、social TAG 上测试两类任务；训练限于 OGB-Arxiv 与 OGB-Products，其他数据用于 zero-shot transfer，并与相同 reasoner backbone 的静态及 agentic baselines 比较。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1161.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1161.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1161.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1161.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1161.pdf#page=6) 核读章节：Graph-Native Search Policy Bootstrapping · Less is More: Mitigating Search Overuse · Graph-Conditioned Curriculum Learning 核读工具定义、两阶段奖励、课程评分及实验范围；reasoning density 实际由 token-length threshold 代理，未将其等同于被验证的推理深度。 ### ARCHITECT: Uncertainty-Aware Dynamic Tool Learning via Causal Intervention for Open-World Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1707/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a67/) #### Idea ARCHITECT 在动态工具生成、验证、修复和复用中引入 Causal Tool Diagnosis（CTD），同时预测可靠性与 specification/code/environment 三类失败归因。它通过 sandbox 中改变文档、代码保护和 API 响应得到干预信号，使低 confidence 工具获得有方向的修复，而非一律重新生成。 #### Research Problem 动态生成工具扩展了开放环境 agent 的能力，但作者对 1,247 个工具的分析发现首次调用失败并不少见。仅输出 scalar uncertainty 的方法只能提示风险，无法判断应补充 API 文档、修改实现还是更换接口；同一种表面 error 也可能来自不同上游原因，导致通用 self-correction 浪费尝试。 #### Insight 可执行代码允许控制条件进行实验，因而可以超越纯文本自评，对不同失败路径提供更具体的证据。作者用 specification→code→execution→outcome 加 specification 直连 execution/outcome 的 SCM 组织这些因素，并让图结构约束诊断网络的信息流；归因的价值在于它可以直接选择修复策略。 #### Method 1. 先从语义工具库检索并按 confidence 与历史成功率优先复用；不足时检索官方 API docs、生成代码，并在 Docker sandbox 做 syntax、生成测试与 output format 三阶段检查，采集 execution 特征。 2. 固定代码改变 Mock API 响应，固定环境删除 guard/type-check 等防护，或改变同 API 的文档完整性后重生成工具，分别估计不同路径的干预影响。文档干预包含经代码传播的 total effect，各类干预效应不直接跨因素比较。 3. CTDNet 用 Sentence-BERT 编码 specification、CodeBERT 编码代码，并编码状态和 exception；两层 GAT 只沿 SCM 方向传递消息，两个 heads 输出 confidence 与 root-cause distribution，以 BCE 加 attribution CE 联合训练。 4. 按主导归因选择补文档、局部修复或 API replacement/retry，重新验证并更新 confidence，最多三轮；工具库对低成功率或重复错误触发 evolution，跨领域积累样本后适配诊断参数。用 StableToolBench、MINT、T-Eval、SWE-bench Lite 评估任务成功、排序相关和归因准确率。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1707.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1707.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1707.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1707.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1707.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1707.pdf#page=7) 核读章节：3.1 Dynamic Tool Discovery and Validation · 3.2.1 Structural Causal Model for Tool Failures · 3.2.2 Causal Effect Estimation via Intervention · 3.2.3 CTDNet: Joint Prediction Architecture · 3.3 Adaptive Correction Strategy Selection · 3.4 Tool Reuse and Evolution · 4.1 Experimental Setup 核读正文方法与实验设置；页码按官方 PDF 实际页序标注。作者称 Spearman ρ 为 calibration 指标，笔记将其准确解释为排序相关性，不能推出概率校准或覆盖保证。干预为特定 sandbox 设计，SCM 及因果归因结论仍依赖该设计和标注假设。 ### AT²PO: Agentic Turn-based Policy Optimization via Tree Search ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1106/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e130/) #### Idea AT²PO 将 agentic RL 的采样、credit assignment 与优化粒度统一到 interaction turn：在不确定轮次分支生成轨迹，用树中后继结果估计每轮价值，再以 turn-level importance ratio 更新策略。ATPO 目标本身可独立于树搜索用于其他多轮训练流程。 #### Research Problem 普通独立 rollout 难以在固定预算下探索有价值的中间决策；只把最终结果奖励分配给整段轨迹，会掩盖不同工具调用的贡献。逐 token 更新又可能具有高方差，而全序列 ratio 会忽略多轮交互中的局部变化，导致监督与决策结构不匹配。 #### Insight 一个 reasoning-plus-tool-call turn 是自然的代理决策单元。共享前缀的树不仅节省重采样，也为同一状态的多种后续提供对照；把终局证据沿树回传后，使用相同粒度的 importance weighting 可使局部信用与局部更新对齐。 #### Method 1. 每个 prompt 先生成 M 条完整链作为树分支，每个节点存储该轮状态与动作。用本轮生成 tokens 的平均负 log-probability 估计 entropy，按 entropy 减去重复分支惩罚选 top-K 节点。 2. 从选中状态保留完整前缀重新 rollout 后续，重复 L 次扩展，在相近 token 预算下得到更多终局分支，避免在单个节点过度分叉。 3. 叶节点以 GRPO 方式归一化终局奖励；内部节点按 policy probability 归一化加权聚合 child values，将估计出的 turn-wise advantage 赋给该轮生成 tokens。 4. ATPO 采用长度归一化的 turn-level probability ratio 和 clipping，通过 stop-gradient 构造保持 token 梯度，同时屏蔽工具响应 tokens；在单跳与多跳搜索 QA 上比较策略质量及训练稳定性，无额外 SFT 阶段。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1106.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1106.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1106.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1106.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1106.pdf#page=6) 核读章节：Entropy Guided Tree Expansion · Turn-wise Credit Assignment · Agentic Turn-based Policy Optimization · Experiment Settings 核读树扩展算法、价值回传与 ATPO 目标。每轮监督由终局奖励及树结构估计，不是额外人工 process labels；正文预算节省推导依赖平均分叉深度假设。 ### AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1001/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d95/) #### Idea AutoReproduce 通过 paper lineage 补全论文没有写明的领域实现惯例，再让 research agent 与 code agent 协作完成数据、方法和实验管线。其复现目标同时包含与论文一致和代码可执行，并用 mini-batch dry runs 尽早暴露数据流与训练配置错误。 #### Research Problem 仅凭目标论文生成代码会遗漏继承自前作的 architecture、preprocessing 或训练习惯；单次代码生成或只检查文档内容，也不能确保 shape、dtype、依赖和 epoch 流程实际能运行。复现因此需要追踪研究来源，并把语义审核与执行反馈连接起来。 #### Insight 科学方法有可追溯的累积性，引用上下文和前作官方代码可作为隐含实现知识，而不只是背景阅读。不同 agents 分别检查论文意图与程序行为，再用小样本执行降低调试代价，使早期实现偏差在完整训练前可被发现。 #### Method 1. 用 MinerU 将 PDF 转为 Markdown，research agent 分别形成 overall、method 和 experiment summaries；可选加入结构图信息以辅助理解。 2. 从目标论文引用中按领域、方法及主要对比 baseline 选择 top-k 相关论文，默认三篇；读取其正文与官方仓库，code agent 筛选相关文件并整理 summary–code exemplars，无代码时保留文献知识。 3. 对标准数据生成 loader，对自定义数据使用提供的 preprocessing pipeline；执行采样 mini-batches 获取 shape、dtype 等实际属性，并先分析 traceback 再作局部行编辑。 4. 在 method replication 与 experiment execution 阶段，code agent 实现和调试，research agent 按摘要审核并提供修正；通过带 early-exit 的完整实验脚本作 dry run，最终 refactor 移除调试设置。 5. 构建十三篇人工验证的 ReproduceBench，清理官方实现并重跑作为参考；分离论文/代码 alignment 评估与实际执行结果，以检验“写得像”与“跑得对”的不同维度。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1001.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1001.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1001.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1001.pdf#page=5) 核读章节：Workflow · Literature Review · Paper Lineage · Code Development · ReproduceBench 核读主流程与 benchmark 构建；任务可提供自定义数据预处理，故不描述为所有数据获取步骤完全无人工先验。运行检查不等同复现实验数值必然一致。 ### Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.339/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a15/) #### Idea 论文提出 Prefill Token Equivalents（PTE），把 tool-integrated reasoning 中的 prefill、随 context 增长的 decode 访存成本和 KV-cache 不可复用后的重计算折合成同一单位。研究重点是建立更贴近特定 serving 条件的效率诊断指标，并用它重新分析高准确率背后的交互成本。 #### Research Problem token 数和 tool-call 数将成本视为近似均匀，但工具等待可能导致 cache eviction，长工具返回又扩大后续每步读取的 KV cache。因此生成较少 tokens 的后续轮次仍可能更慢，单纯统计总输出长度会遗漏早期冗长推理对整个后续 trajectory 的累积影响。 #### Insight prefill 主要受 compute 限制，decode 的长上下文增量开销受 memory bandwidth 限制，两类阶段不能直接等权相加。用 model/hardware 配置决定的 γ 将 context-length×decode-tokens 转为 prefill equivalents，可以凸显交互历史变长造成的成本，并帮助定位重复调用或 schema 失败。 #### Method 1. 对每条 k-turn trajectory 记录每轮全部 prefill tokens、decode tokens 与解码前累计 context length，计算各轮 prefill 加 γ×context length×decode tokens 后求和，面向 cache 无法复用的设定。 2. 从 active parameters、layer 数、hidden dimension 与 Hardware Operational Intensity 推导 γ，并按 GQA 的 KV/query head ratio 或 MLA 压缩维度调整，得到特定 model–hardware pair 的静态系数。 3. 在 8×H200、DeepSeek-V3.2 高并发场景对照 wall-clock latency，另改变硬件 HOI 做排序敏感性分析；统一 system prompts 和 tool definitions，在数学与信息检索五个 benchmark 上记录多模型 traces。 4. 联合比较准确率与 PTE，分析 confirmatory tool usage、工具混用、缺乏 tool priors、tool-format collapse 四类行为；再比较正确/错误轨迹的成本并做难度分层，以 PTE 作为粗粒度诊断信号，而非将低成本本身当作训练目标已获验证。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.339.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.339.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.339.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.339.pdf#page=5) · [PDF p. 7](https://aclanthology.org/2026.acl-long.339.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.339.pdf#page=8) 核读章节：3.1 Background: The Physical Reality of LLM Inference Cost · 3.2 Formal Definition of PTE · 3.3 Cost Modeling · 4 Validation: Fidelity and Robustness · 5 Experimental Setup · 6.2 Analysis of TIR Inefficiency Patterns · 7 From Efficiency to Intelligence 核读 PTE 假设、系数、时延验证与行为分析。PTE 是 LLM inference cost proxy，不能代替所有 cache retention、batching 和外部工具耗时下的端到端实测；错误与高 PTE 的关系按作者明确说明为相关性。步骤时间统计有序列依赖，正文不将对应 p-values 作为正式假设检验。 ### CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1886/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a71/) #### Idea CAR-bench 在车载助手模拟环境中评估多轮 tool-using agent 的持续可靠性，将任务扩展为正常执行、无法完成时承认能力边界，以及存在歧义时先获取信息。其研究设计把重复成功与偶然成功分开，使 benchmark 能暴露“会做但不稳定”及过早采取动作的问题。 #### Research Problem 多数工具评测默认工具齐备、用户信息完整，只考察最终答案或 API 调用正确性。真实助手还会遇到缺工具、缺参数、返回信息不足和模糊需求；完成不了却编造结果，或未澄清便改变状态，都是最终任务完成率难以充分刻画的失败。 #### Insight 可靠代理必须判断任务是否可解，并根据环境信息选择内部查询或用户澄清。评价既要约束最终状态，也要检查中间状态与领域政策，因为错误动作即使后来撤销也可能打断驾驶。多次重复评测则区分潜在能力和稳定执行。 #### Method 1. 构建包含 58 个互联工具、动态车辆状态、固定上下文及导航/日历/天气数据库的环境；LLM user simulator 按 persona、信息披露规则与目标交互，隐藏 control words 用于终止和评价。 2. 设计 100 个 Base tasks，并删除必需工具、参数或结果形成 90 个 Hallucination tasks；另构造 50 个 Disambiguation tasks，要求通过用户或环境信息解决受控歧义，优先内部消歧。 3. 从 API graph 采样多步骤轨迹、生成初始环境和自然指令，再人工审核可行性与唯一目标状态；19 项领域政策分别由程序检查或 LLM judge 验证。 4. 联合检查最终/中间状态、必要查询工具、调用错误、政策及对话终止原因；Hallucination 以正确承认限制为目标。每题重复 k 次，报告全部成功的 Pass^k 与至少一次成功的 Pass@k，分析两者差距。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1886.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1886.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1886.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1886.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1886.pdf#page=6) 核读章节：Benchmark Components · Dataset and Task Types · Task-level Metrics · Aggregated Metrics · Environment and Dataset Construction 核读任务构造、模拟用户可见性及全部指标。能力边界与部分消歧判断依赖 simulator control words/LLM judge，并非全为确定性判定；Base 的错误中间 set action 即便后续修正仍受罚。 ### Current Agents Fail to Leverage World Model as Tool for Foresight ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.623/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a34/) #### Idea 本文实证检验现有 VLM agents 能否把外部 world model 当作 foresight 工具，而不是提出新的 simulator。通过控制工具不可见、可选和强制使用，分离“有预测能力可用”与“agent 能正确调用、解读并采取行动”的差别。 #### Research Problem 常见假设是给 agent 更好的模拟未来能力即可改善规划，但工具是否被调用、假想状态是否被误认，以及模拟信息是否真正改变后续行动，都缺乏系统检查。若只比较最终任务分数，模拟器质量与 agent 使用策略也会混在一起。 #### Insight 对交互任务提供精确环境克隆后，world-model access 仍未稳定带来收益，说明至少在这些协议下 agent-side integration 是独立瓶颈。论文将问题归纳为决定模拟什么、如何解释和何时行动；调用次数与失败的相关性则不能单独证明模拟本身导致失败。 #### Method 1. 统一交互接口允许 agent 选择在真实环境执行 action 或向 world model 查询，后者只把 predicted state 加入历史，不改变真实 state，并共享最大步骤预算。 2. 设置 WM Invisible、Normal optional 和 WM Force 三种 prompt 条件；主要比较前两者，强制模拟用于交互任务以检查 mandatory foresight 是否有益。 3. 交互任务使用 FrozenLake、Navigation、PrimitiveSkill、Sokoban，world model 以当前环境 state 克隆实现 oracle dynamics；静态空间 VQA 使用 Wan2.1 生成预测视觉，并用 Wan2.2 作稳健性检查。 4. 跨九个开闭源 VLM 比较 task success、VQA accuracy 和至少调用一次的使用率，进一步按样本区分 WM Helps/WM Hurts。 5. 借助 GPT-4o 标注主要及辅助归因，分析 action loops、over-planning、状态解释与模糊 simulation requests 等，并研究任务类型和调用次数的关联。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.623.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.623.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.623.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.623.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.623.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.623.pdf#page=7) 核读章节：Interaction Process · Interaction Modes · Task Choices · Experiment Settings · Attribution Analysis · Further Studies 核读协议、oracle/generative simulator 区别和归因分析。结论限定为所测模型、接口及任务；归因含 LLM 辅助标注，模型“自信”等解释属于作者分析而非直接测量心理状态。 ### Discovery and Reinforcement of Tool-Integrated Reasoning Chains via Rollout Trees ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.649/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a35/) #### Idea DART 在 RL 训练期间对现有 long CoT 轨迹构建 rollout tree，在高不确定且适合工具使用的位置插入提示并分叉，探索 Python 调用能否改善解答。随后用树中后代答案的成功率估计子轨迹价值，把有效工具分支的收益定位到中间过程；测试时恢复普通单路径生成。 #### Research Problem 已有 reasoning model 的工具使用与 long CoT 行为可能在不同 post-training 数据中学得，单靠工具提示或终局奖励很少触发 thinking 内部调用。新收集的短 CoT 工具轨迹做 SFT 成本高，也可能干扰原有长推理能力。主要缺口是如何发现并强化已有模型分布中低概率但有用的 tool-integrated continuations。 #### Insight 相同 reasoning prefix 后的自然语言与工具分支提供局部对照：若工具分支更常得到正确答案，便可用终局可验证结果为该段过程赋予相对优势，而不需要人工标注每个步骤。entropy 确定值得探索的分叉点，hint likelihood 再判断工具衔接是否自然，两者共同提高探索有效率。 #### Method 1. 每题先采样 M 条原始轨迹形成树，在 clause 结束位置计算 vocabulary entropy，取最高的 K 个候选并排除末尾 20%；从候选位置与工具 hints 的组合中按条件概率采样，避免反复选择同一组合。 2. 在选定 prefix 后加入以 Python code block 开头结束的 hint，继续生成代码，交给 sandbox 执行，将反馈写入 context 后完成推理；每轮产生 M 个分支，扩展 N 轮得到 M×(N+1) 个叶子。 3. 以答案 verifier 给叶子二值 reward，非叶节点取后代叶子的均值。节点 advantage 为相对 root 的 global advantage 加相对 parent 的 local advantage，同一子轨迹的 tokens 共享该值，用无 KL 的 REINFORCE 型目标更新并 mask interpreter feedback。 4. 在筛选出的 2,795 道困难 DAPO 数学题上训练 Qwen3 reasoning models，比较相同 backbone/data 下的 direct RL、SFT→RL 与 rejection sampling。推理不构建树、不强制 hint，仅与 Python interpreter 交互，评估 AIME 与 GPQA-Diamond。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.649.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.649.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.649.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.649.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.649.pdf#page=5) 核读章节：2.1 Discovery: Rollout Tree with Tool-Integrated Forking · 2.2 Reinforcement: Tree-based Advantage for Policy Optimization · 2.3 Inference · 3.1 Implementation Details · 3.2 Baselines & Evaluation 核读分叉选择、hint 插入、树值传播与训练/推理区别。无需额外人工 tool-use annotation 不代表无人工先验，训练仍使用设计的 hints、答案 verifier 与筛题。Monte Carlo 子树成功率为有限探索下的信用估计，不构成工具调用因果贡献的严格证明。 ### Do LLMs Know Tool Irrelevance? Demystifying Structural Alignment Bias in Tool Invocations ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1473/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a58/) #### Idea 该研究识别 Structural Alignment Bias：即使工具语义无法满足目标，只要用户属性恰好能填满其参数，模型仍倾向调用。作者用 SABEval 解耦语义相关性与参数结构匹配，再以 Contrastive Attention Attribution 分析并干预两类竞争的信息通路。 #### Research Problem 现有 irrelevant-tool 测试往往随机配对问题与工具，使语义不相关和参数无法匹配同时出现；模型可能仅凭结构不匹配拒绝调用，因此低错误率并不证明其理解工具功能。需要单独测量“参数能填、功能却不对”的情况，并解释为何模型采用这个捷径。 #### Insight 合法参数映射只是调用格式条件，并非实现用户目标的充分条件。语义检查倾向抑制错误调用，结构匹配则推动格式化调用；若后者占优，增加可填写参数反而强化错误。将两类条件分别做 counterfactual 干预，有助于从相关性分析推进到可检验的机制解释。 #### Method 1. 从工具模板实例化同参数但不同服务目标的 sibling tools，为各服务生成完整属性查询，再跨 sibling 配对，形成没有有效工具的 SABEval；扩展版本逐个增加 attribute-parameter 对，以控制结构对齐强度。 2. 比较随机配对与结构对齐样本的 tool invocation rate，并通过替换、删除或增加参数破坏结构匹配，保持用户查询及工具功能，用于测量结构因素的行为影响。 3. CAA 以 attention weight 零消融的 metric 变化为目标，用梯度近似计算重要性，再按输入 span 聚合；对语义或结构 counterfactual 的归一化重要性取差，定位 semantic checking 与 structural matching pathways。 4. 在不重叠工具模板划分上增强语义通路、抑制结构通路，验证集选择 scaling coefficients；同时测试 SABEval 错误调用和 ACEBench 正常工具能力，检查干预是否只造成一概拒用。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1473.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1473.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1473.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1473.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1473.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1473.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1473.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.1473.pdf#page=8) 核读章节：Problem Formulation · Experimental Setup · Behavior Analysis · Causal Role of Structural Alignment · Contrastive Attention Attribution · Experiment & Analysis 核读数据控制、归因近似及 attention scaling。TIR 主指标依据下一 token 是否为 tool-call token，通过单次 forward 估计；作者验证了实验模型的格式适用性，不等同于任意模型完整调用解析指标。 ### Don’t Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.948/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a43/) #### Idea PA-Tool 将适配方向从微调 small language model 转为重命名 tool schema：让目标模型依据功能描述多次生成 tool/parameter names，选择输出分布中局部最密集的候选，并建立原名到新名的映射。整个流程不更新模型参数。 #### Research Problem SLM 即使看到可用 schema，仍会生成语义合理但实际不存在的名称，或识别错参数。常见改进重在训练模型、优化 description 或积累调用历史，尚未直接解决给定接口命名与模型熟悉表示之间的 mismatch。 #### Insight 作者假设预训练中熟悉的命名模式会在反复采样中形成高 peakedness 区域；按近似字符串的局部密度选择，比仅取 greedy 输出或完全相同字符串的频次更能捕捉稳定命名习惯。这是由生成分布推测 familiarity 的代理信号，并非直接检查预训练语料。 #### Method 1. 逐个提供工具或参数的功能描述，按非零温度采样 N 个候选名，并另以 greedy decoding 获得 tie-breaking reference name。 2. 计算候选间 character-level Levenshtein distance，以最长候选长度乘 alpha 作为阈值；每个候选的 peakedness 为阈值内其他候选数量。 3. 选择最高 peakedness 名称，平局时取与 greedy reference 编辑距离最小者；遍历 schema 层级形成命名映射，跨工具重名用 priority-based locking 处理。 4. 主要设置采样三十二次、temperature 0.4、alpha 0.2；在 MetaTool 的 selection/reliability/multi-tool 与 RoTBench 的 selection/parameter identification 上，以相同目标模型比较原 schema、greedy、most-frequency 及人工重命名。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.948.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.948.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.948.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.948.pdf#page=5) 核读章节：Framework Overview · Stage 1: Candidate Generation · Stage 2: Peakedness Computation · Stage 3: Schema Selection · Experimental Setup 核读候选选择公式、重名处理说明和评估设置；pretraining alignment 是作者假说和操作性代理，未声称已定位具体训练样本。 ### Empowering Multi-Turn Tool-Integrated Agentic Reasoning with Group Turn Policy Optimization ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1962/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a73/) #### Idea GTPO 将多轮 tool-integrated reasoning 的 RL 信号从整条 trajectory 下沉到 turn：每轮分配格式 reward，终局给答案 reward，再以 discounted returns 计算 turn advantages；对最终错误但代码接近成功样本的轨迹提供部分奖励。目标是缓解 GRPO 在多轮交互中的稀疏反馈和训练停滞。 #### Research Problem 传统 GRPO 将相同的终局 advantage 广播到所有 tokens，但多轮 TIR 会根据 tool execution 改写后续推理，同一轨迹中不同轮次贡献不同。二值成功/失败还把含有部分可用代码的失败轨迹全部视为零收益，使有限 rollout 中的过程信息难以被利用。 #### Insight 每轮以已有历史作为 state、生成的 reasoning/code 作为 action，更符合 agent 的交互结构；reward-to-go 能表达当前决策与后续结果的时间距离。成功组的代码还可形成自监督参照，为失败组提供较弱的学习方向，不过 embedding 相似性只是假设性的部分正确代理，不是执行语义证明。 #### Method 1. 将 trajectory 分成 reasoning、code、tool feedback 交错的 turns；非终局 answer reward 为零，最终答对给一，出现格式错误的当前 turn 给予负奖励，取代整条轨迹统一格式判定。 2. 从每轮向后累加折扣 reward 得到 return，再把同题所有 sampled trajectories 的全部 turns 汇入同一个均值/标准差池进行 normalization；每个 turn 内 tokens 共享该 advantage，用 clipped policy objective 更新。 3. 按最终答案区分 positive/negative trajectories，连接各自全部工具代码并计算 embedding similarity；失败轨迹终局 reward 取与所有成功代码的平均相似度乘系数，正确轨迹保持一，无成功样本的组不进行这种 shaping。 4. 先从 ReTool-SFT 问题用 DeepSeek-R1 与 OpenHands 蒸馏并筛选 1.2K 正确轨迹，cold-start SFT Qwen2.5-7B；再在 DAPO-17K 上训练，使用 Titan embeddings、最多三轮且 KL 系数为零。相同数据和设置下与 GRPO 比较五个数学 benchmark，并补充非数学任务。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1962.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1962.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1962.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1962.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1962.pdf#page=6) 核读章节：4.1 Turn-level Reward Assignment · 4.2 Advantage with Discounted Return · 4.3 Self-supervised Reward Shaping · 4.4 Group Turn Policy Optimization · 5.1 Experimental Setup · 5.2 Experimental Results 核读 turn MDP、跨轨迹/跨轮归一化、partial reward 与训练数据。主要数学均分 49.78%→51.26% 对应约 3.0% 相对提高，不能写成 3 个百分点；方法仍依赖最终 ground-truth answer 和 cold-start 监督数据，自监督指额外 shaping 无需逐轮人工标注。 ### ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.333/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a12/) #### Idea ET-Agent 将 tool-integrated reasoning 的优化目标扩展到行为校准：通过 Self-Evolving Data Flywheel 增加有效解法，再从准确性与工具次数的组内差异挑选训练题，逐步学习正确、简洁且调用恰当的轨迹。它同时处理调用过多、调用不足、执行错误与推理偏离。 #### Research Problem 仅优化答案准确率可能保留大量无效检索、冗长思考或错误代码调用；一味减少工具次数又会使模型过早结束。相同问题的正确轨迹之间仍存在很大行为差异，而普通 group-based RL 在 rollout 同质化时缺少奖励方差，难以持续改进这些行为。 #### Insight 需要先扩展可探索的有效行为，再利用相对质量信号进行校准。对正确轨迹删冗余、对错误轨迹修首错或追加提示，可获得多样可行路径；同时选择正确性和工具使用存在分歧的问题，能为后续 RL 提供更有区分力的训练组。 #### Method 1. 对每题多次采样并按答案分为 Correct/Incorrect Sets；前者定位首个冗余步骤重生成后续，或整体精简思考，后者修正首错或注入提示鼓励额外工具探索，多轮合并形成 Daug。 2. 过滤错误答案、格式和执行失败后做 rejection sampling fine-tuning，使模型先掌握更广的正确动作空间与合法调用行为。 3. 每题采样多条轨迹，以 correctness scores 和 tool-call counts 的标准差衡量两种 dispersion；用 Pareto non-dominated sorting 优先选高潜力题，再通过 crowding distance 保持选择多样性。 4. 交替 Pareto sampling 与 ARPO 训练；奖励将 correctness 乘以组内相对工具次数和 reasoning length 的效率分数，再加格式项，工具返回不计入推理长度；按课程轮次调整惩罚强度，兼顾答案质量与行为效率。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.333.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.333.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.333.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.333.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.333.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.333.pdf#page=7) 核读章节：Preliminary Experiment · Self-Evolving Data Flywheel · Action Space Exploration Fine-tuning · Group-wise Pareto Sampling · Curriculum RL Training 核读增强策略、采样对象和 reward 乘法结构。Pareto sampling 选择的是具有组内轨迹分散度的问题样本，不是直接挑单条最优轨迹；效率指标为每次工具调用的平均正确性收益。 ### From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1951/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a72/) #### Idea 本文提出 Tool-Induced Myopia：即使 Python 工具调用和执行正确，模型也可能把枚举、数值试验的结果当成完整数学论证。以 PyMath 和多维评估区分 final-answer accuracy 与推理完整性，并尝试用偏好学习纠正工具结果替代推导的行为。 #### Research Problem 常见工具使用评估着眼 API 错误、检索事实或最终答案，却无法揭示“答案正确、理由不充分”。竞赛数学中程序可辅助计算，但有限检查不足以证明一般结论；单一 PRM 也可能把看似连贯的数值路径判为有效，漏掉全局证明缺失。 #### Insight 工具可以改善计算却改变解题方式，因此能力提升与推理质量退化可以并存。选择 Python useful but not sufficient 的问题，并在正确答案样本内检查 reasoning，能够针对性揭示这种差异；但参考推导遗漏率会惩罚不同的正确解法，需与其他指标联合解释。 #### Method 1. 从 AIME、Omni-Math、OlympiadBench、OlympicArena 收集英文文本题，以 LLM judge 筛选 Python 有用但不足以独立完成论证的样本，形成 1679 题并划分一千题评估与训练/开发集。 2. 同一模型分别提供和不提供 Code Interpreter，比较答案准确率；在正确答案条件下用随机顺序 pairwise judge、相对参考解的 Miss Rate 和 Qwen Math PRM scores 检查逻辑与推导缺失。 3. 按工具调用次数分组并区分逻辑、假设、策略与算术错误，对高风险子集人工核读，检验自动信号是否对应以计算代替证明。 4. 训练外干预提示模型把执行结果作为线索并继续数学推导；DPO 用提示增强解作为 chosen，将局部推导改写为过度依赖工具的版本作为 rejected，同时保持中间与最终结果一致。 5. 在 GPT-4.1 上比较缓解策略：DPO 改善答案、Miss Rate 和偏好表现，但 PRM score 未恢复到 non-tool base，显示改善集中在行为组织而非所有推理维度。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1951.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1951.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1951.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1951.pdf#page=5) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1951.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.1951.pdf#page=8) 核读章节：Tool-induced Myopia · PyMath · Evaluation Suite · Prompting-Based Mitigation · Alignment-Based Mitigation · Preference Data Creation 核读 benchmark、评估条件及 DPO 数据构建；不把所有工具计算都视为 TIM，也不把调用频率相关性直接写成因果效应。PRM 与 reference-path 指标的局限来自正文。 ### GenesisFunc: Multi-Agent Data Generation for Accurate and Generalizable Function-Calling ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1319/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a55/) #### Idea GenesisFunc 是 function-calling 训练数据生成 pipeline，以筛选后的 benchmark tool schemas 为基础，让多 agent 协同控制工具组合、对话语义多样性、参数覆盖与质量筛查。贡献主要在合成监督数据设计，而非为推理时再加入一套多 agent 执行系统。 #### Research Problem 真实 function-calling 数据昂贵，既有合成流程可能依赖不可靠 API、反复生成相似场景，或只覆盖简单调用。实际请求还包含多任务、多轮缺参数、无关工具和错误处理，若缺乏这些数据及分层检查，微调模型容易在工具选择、参数抽取和分布外工具上失效。 #### Insight 数据多样性需要同时改变工具组合、工具使用语境与 optional slots，单纯扩大样本量不足以保证覆盖。把 generation-time ranking 与 post-hoc semantic validation 分开，再把有限人工资源集中到低置信度和关键参数错误，可以用较低审校成本改善监督信号。 #### Method 1. 从 BFCL evaluation tools 经 GPT-4o 语义聚类去重和轻量人工验证得到 1,000-tool pool。Sample Agent 选择功能相关 target tools 与不同相关度 distractors，为每次对话设定候选 action space。 2. Memory Agent 为历史对话标注语义场景并引导未出现的 context；Function Agent 选择工具、抽取必需参数并随机实例化部分 optional parameters；Judge Agent 从每轮四个候选中根据意义和工具适配性择优。 3. User/Assistant agents 生成 single-turn、multi-turn、single/multi-task 和 relevance/error special cases。Assistant 可 call、ask 或 answer，缺少条件时澄清，并记录 turn-level tool/payload 供审查与记忆复用。 4. Rule Checker 不执行工具，检查 schema、格式、参数、对话结构及声明一致性；GPT-4o Model Checker 再审 faithfulness 与 task satisfaction，低分或规则失败样本进入定向人工修订和复检。用所得数据微调 8B 模型，比较域内 function calling 与 OOD 泛化、工具规模和数据消融。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1319.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1319.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1319.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1319.pdf#page=5) 核读章节：3 Preliminary · 4.1 Tool Pool · 4.2.1 Multi-Agent Framework · 4.2.2 Dialogue Generation System · 4.3 Multi-Stage Evaluation 核读工具来源、六类生成角色与三阶段质量控制。工具 schema 直接来自 BFCL evaluation set，因此相关域内结果不能视为完全未见工具；rule checks 未实际调用工具，数据可靠性不等于端到端执行验证。人工处理约 5% 定向样本，并非全部样本逐条人工标注。 ### Learning from the Irrecoverable: Error-Localized Policy Optimization for Tool-Integrated LLM Reasoning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.504/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a24/) #### Idea ELPO 从失败轨迹中定位首个在当前采样预算下不可恢复的步骤，再围绕该位置分配信用和强化纠错更新。它利用 binary-search rollout tree 把终局奖励转为局部分支对比，避免将整条失败链上所有行为视为同等有害。 #### Research Problem 长时 TIR 的工具空间大、决策相互依赖，单一终局奖励既稀疏又延迟。一般树搜索或逐步 advantage 仍可能把惩罚扩散到无关步骤，无法指出从哪里开始后续无法救回；即使定位错误，统一 clipping 也可能限制关键错误部分的修正幅度。 #### Insight 固定一个轨迹前缀并重采样后缀，可以估计该前缀是否还有成功延续。二分寻找成功可恢复与失败不可恢复的边界，使搜索集中在关键步骤；局部分支比较与完整轨迹排序结合，则兼顾因果邻近的对照和全局结果信号。 #### Method 1. 从近期失败 buffer 中，按工具反馈后与初始回复的 entropy gap 选一条信息量较大的失败轨迹。对中间 anchor 固定前缀、采样后续：有成功则向后半区搜索，否则向前半区搜索，逐步定位首个 irrecoverable step。 2. 根据 anchor 的 post-tool entropy 相对初始 entropy 分配后缀采样数，控制总预算；二分减少 anchor probes，但每个 probe 仍包含若干 rollout。 3. 以叶节点 outcome reward 递归平均得到节点价值，在 sibling branches 间归一化获得局部 advantage；同时对同题完整 trajectories 排序归一化，将经过节点的全局优势取平均，再加权组成 hierarchical advantage。 4. Error-Localized Adaptive Clipping 降低关键步骤及后缀 tokens 的 ratio 下界，让负优势错误行为获得更强抑制，上界保持不变；将该 clipping 与 hierarchical advantage 放入 GRPO-style loss，屏蔽环境反馈 tokens。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.504.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.504.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.504.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.504.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.504.pdf#page=6) 核读章节：Tree Rollout Based on Binary Error Localization · Fine-Grained Advantage Attribution · Error-Localized Adaptive Clipping · Training objective of ELPO 核读 BEL、entropy 调度及更新方向。irrecoverable 是固定模型和有限 continuation budget 下的操作性判断，不代表逻辑上绝无成功路径；O(log K) 指 anchor probes 而非所有生成成本。 ### LoopTool: Closing the Data–Training Loop for Robust LLM Tool Calls ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.968/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a45/) #### Idea LoopTool 把 tool-call 数据生成与模型训练闭合成迭代循环：训练后用当前模型探测失败，判断错误来自预测还是旧标签，修正监督并围绕已验证弱点扩展新数据。数据内容随模型能力变化，而不是一次生成后固定使用。 #### Research Problem 静态合成数据会重复训练已掌握的样本，遗漏新暴露的系统性缺口；较廉价生成器的错误参数或标签又会长期保留。GRPO 在全部正确或全部失败的组上缺少优势差异，因此单纯扩大固定数据集并不能保证更有效学习。 #### Insight 当前模型与旧标签的分歧同时是能力诊断和数据审计入口。用 judge 比较两种已有候选而非直接重生成标签，可让越来越强的策略反过来纠正监督；再保留结构难点并变化情境，将一次失败转化为覆盖更广的训练需求。 #### Method 1. 初始数据将 context tree 与 constraint tree 组合生成 APIs，另收集公开工具；Planner、User、Assistant、Tool 四角色模拟对话，经 schema/rule checks 和 Qwen3-32B contextual judge 双重验证。 2. 把多轮对话拆成 available tools、history、gold call 的单轮 GRPO 样本，以 AST 层 function name 与 argument values 严格匹配作为 binary reward。 3. Greedy Capability Probing 对当前数据确定性解码，识别 mastered 与 mismatched cases，并保留部分高 perplexity 样本作为下一轮材料。 4. JGLV 将分歧判为 prediction wrong、label wrong、both correct 或 both wrong；分别保留重训、用预测修正标签、按 PPL 选择或丢弃，并记录错误分析。 5. EDDE 根据工具、上下文、正确/错误调用与错误原因生成结构相似但情境多样的新样本，再次验证；合并 error seeds、扩展数据、高 PPL 与未训练 seed subset，继续下一轮 GRPO。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.968.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.968.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.968.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.968.pdf#page=5) 核读章节：Automated Tool-Augmented Dialog Generation · GRPO Training for Tool Calling · Greedy Capability Probing · Judgement-Guided Label Verification · Error-Driven Data Expansion 核读合成、标签判断四分支与数据更新规则。高 PPL 是作者用于样本难度的代理，非已证明严格位于决策边界；多轮上下文训练被拆成工具调用步骤。 ### Lost in Execution: On the Multilingual Robustness of Tool Calling in Large Language Models ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2039/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a78/) #### Idea MLCL 将 multilingual tool calling 作为语言输入与固定执行接口之间的诊断问题，系统改变用户 query 的语言组成和措辞，同时保持 English-only tool schemas 不变。论文细分语义理解和参数语言规范，揭示选对工具、理解意图仍可能输出不符合接口约定的参数值。 #### Research Problem 英文中心的 function-calling benchmark 难以暴露多语言用户与共享 API 之间的边界问题。总体准确率又会把中文地名的正确翻译、真正错误实体和不合法函数结构混在一起，无法判断失败发生在 understanding、tool selection 还是参数表面形式。 #### Insight 自然语言语义等价并不自动满足特定工具的执行规范；在严格 English-only 接口下，把用户语言直接带入参数可能造成失败。通过保留英文参数但翻译外围句子的 partial translation，可以把多语言理解压力与参数语言转换压力部分分离，再用错误 taxonomy 识别各自贡献。 #### Method 1. 选择 BFCL V4 的 single-turn multiple-candidate-functions 子集，保持 function names、parameter keys、tool descriptions 和评判规则固定；只把 query 扩展到中文、Hindi、Igbo，与 English reference 对照。 2. 构造 NT 原英文、FT 全翻译、PAR 保留 ground-truth 参数英文的混合输入；再加入 paraphrase 和 synonym substitution 两种语义保持扰动，形成交叉诊断条件。翻译和扰动由 GPT-5 生成并经人工核查意图一致性。 3. 沿用严格 function/key/value matching，再将错误拆成 syntax、function-level、非英文值的语义错误/相关但不正确/意义正确，以及英文参数的相应表面差异，报告错误组成而非仅总分。 4. 在不改模型权重的情况下比较显式英文参数提示、query pre-translation 和参数 post-translation；检查这些 intervention 是否减少 language mismatch，以及剩余差距是否仍来自实体或精确表面形式，论文观察三者都未完全恢复英文水平。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2039.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2039.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2039.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2039.pdf#page=5) · [PDF p. 7](https://aclanthology.org/2026.acl-long.2039.pdf#page=7) 核读章节：3.1 Design Goals and Diagnostic Scope · 3.2 Dataset Construction · 3.3 Experimental Protocol · 3.4 Results · 4.2 Mitigation Methods · 4.3 Evaluation of Mitigation Strategies 核读固定接口、语言/扰动矩阵、错误 taxonomy 与 mitigation。此处 execution-level failure 是在明确 English-only 且 strict-matching 的 benchmark 约定下判断，未做 live execution；不能概括为所有真实 API 均拒绝非英文或同义参数。所述 PRE upper bound 是作者对预处理策略的参照设定，并非数学上界。 ### MCP-Flow: Facilitating LLM Agents to Master Real-World, Diverse and Scaling MCP Tools ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.231/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a7/) #### Idea MCP-Flow 建立从真实 MCP marketplace 发现服务器、获取工具 schema、合成指令调用到模型训练的可扩展流水线。它把不断增长的工具生态转为训练资源，并区分有工具标签的 instruction-call pairs 与真正取得工具返回的完整 trajectories。 #### Research Problem MCP 服务器分散在不同站点与仓库，配置和文档各异，人工收集难跟上新增工具；已有研究覆盖服务器较少且偏评测，缺少能训练模型的广泛数据。直接根据工具描述生成指令又可能过于近似文档、参数缺失或调用不可执行，导致虚假的易任务。 #### Insight 从工具端开始生成可以天然确定目标工具，再通过 slot filling 明确参数、指令演化扩展表达，并用真实客户端执行补充 observation。将发现、去重、生成和过滤分开，可增量纳入新服务器，而不必每次重新人工整理全部生态。 #### Method 1. Web agent 在人工定义的高层流程内浏览多个 marketplace，读取服务器 JSON 配置；按工具描述列表去重，并用本地 MCP client 部署 stdio 或连接 SSE 服务，收集 name、description 和 input schema。 2. 每个工具基于 few-shot examples 生成多条指令，把必需参数当作 slots 补齐并改写查询，再用规则替换残余占位符，随后进行两轮 WizardLM-style instruction evolution。 3. 给定目标工具、schema 与指令生成 function call，通过真实 MCP server 获取返回并由 assistant 汇总，组装完整 trajectory；受权限、API key 或软件依赖限制的服务器并非都能产生有效返回。 4. 过滤与工具描述 embedding 过近的指令，以双模型简化工具选择核查标签，再用独立模型对指令和调用质量评分；用保留数据微调模型，并在 seen tools、unseen tools、unseen servers 及较大候选集评估工具选择和参数结构。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.231.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.231.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.231.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.231.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.231.pdf#page=6) 核读章节：Automated MCP Server & Tool Collection · Large-Scale Data Synthesis · Rigorous Data Filtration · Experiments 核读爬取部署、参数补齐和三重过滤。作者报告的 68,733 instruction-call pairs 与 6,439 完整 trajectories 不是同一规模概念，生成标签也并非全部经真实执行验证。 ### OctoTools: A Multi-Agent Framework with Extensible Tools for Complex Reasoning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a0/) #### Idea OctoTools 用标准化 tool cards 连接 planner 与 executor：planner 负责整体目标和逐步子目标，executor 将文字动作转换成可运行 Python 命令，执行结果回到共享轨迹以继续规划和检查。框架无需更新模型权重，可跨领域添加专用工具。 #### Research Problem 复杂问题同时要求视觉感知、检索、计算和多步整合，单一 LLM 易在专业操作或长程组合上失败；已有工具系统常限定领域、工具类型或依赖专门训练。将选工具与写执行代码交给同一生成步骤，也容易使抽象计划和环境细节相互干扰。 #### Insight 工具接口除输入输出外还需要说明适用范围与限制，使计划可以据此选用和交叉检查；将高层规划、低层命令生成和结果验证拆开，保留完整执行历史，让新证据改变后续子目标。可扩展性来自共同 card 格式，而非每种工具都重新设计 agent。 #### Method 1. 为每个工具提供 name、version、input/output types、调用示例，以及可选 limitations/best practices；planner 加载这些 cards 建立可用工具空间。 2. 针对 query 先生成 tentative high-level plan，再逐轮给出 sub-goal、所选工具及相关上下文，executor 把它编译成 Python 调用并准备参数。 3. 在 Python 环境执行命令，记录 action、code、output/log/error 到 trajectory；context verifier 检查子目标是否完成或证据有无歧义，决定继续、结束或达到预算后汇总。 4. solution summarizer 从完整轨迹合成答案；若有少量 validation examples，则先测 base toolset，再分别加入单个候选工具，将独立带来正向收益者合并为任务级候选集。 5. 在十六个跨视觉、数学、科学、医学与 agentic benchmark 上评估，并在相同 backbone、工具实现和预算条件下比较其他框架，另检验小模型、工具故障及组件消融。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1.pdf#page=5) 核读章节：Preliminary · Tool Cards · Planner Agent · Executor Agent · Task-specific Toolset Optimization 核读 planner–executor loop 和工具集算法；工具集优化为各候选相对固定 base 的单独评估后取并集，并非穷举组合最优或逐样本重新调参。 ### OptiCo: Adaptive Distributed Training Optimization via Collaborative Agent Reasoning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1283/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e155/) #### Idea OptiCo 把 distributed training configuration tuning 组织成四个专职 agent 的闭环：定位瓶颈、提出参数修改、真实启动验证、分析失败，并把所有结果保存在 Global Message Pool。它用 LLM 的结构化推理结合运行反馈，搜索更高 MFU 的配置，而不是预先穷举大量 profiling 组合。 #### Research Problem TP、PP、DP、EP、micro batch size、recompute 和 overlap 等参数相互影响，性能还取决于模型与硬件。传统自动并行方案依赖预 profiling、固定规则或大规模组合搜索，配置迁移困难；纯语言建议又无法确认 OOM、head divisibility 等约束及真实吞吐，因此需要把专家式迭代与执行测量连接。 #### Insight 性能改善和失败日志都是可复用的搜索知识。把运行可行性与失败解释分离，并让所有角色读取同一个配置—性能/错误记录，可以减少重复无效尝试；按瓶颈排序只修改有限参数，也让每轮探索更容易解释。其自适应来自外部反馈和历史上下文，并非训练一个新的 LLM policy。 #### Method 1. Global Message Pool 初始化为空时先运行随机配置，记录训练参数和 performance。Bottleneck Analysis Agent 读取历史配置/MFU 等，用 CoT 分析最可能限制效率的因素，输出按预期影响排序的参数列表。 2. Strategy Generation Agent 根据排序和明确修改规则调整有限的 MBS、TP、PP、recompute 等字段，保持完整 configuration schema，避免重试历史无效或重复组合。 3. Strategy Validation Agent 在目标训练环境实际启动候选并采集指标；成功结果写回 pool，失败则生成包含修改参数和失败阶段的结构化 log，交给 Failure Analysis Agent 归类 OOM、无效并行设置或框架约束，并记录诊断 confidence。 4. 四个角色通过 pool 迭代到停止条件，返回性能最好的配置；以 inception prompting 固定职责、上下文、输出格式与行为规则。作者在 25 多种模型/GPU/规模配置中，与专家策略比较有限迭代内的 MFU 和吞吐改善。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1283.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1283.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1283.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1283.pdf#page=4) 核读章节：2.1 OptiCo Framework · 2.1.1 Bottleneck Analysis Agent · 2.1.2 Strategy Generation Agent · 2.1.3 Strategy Validation Agent · 2.1.4 Failure Analysis Agent · 2.2 Global Message Pool · 2.3 Iterative Feedback-Driven Strategy Optimization · 2.4 Inception Prompting 核读四角色与真实执行循环。避免离线 heavy profiling 不等于无运行成本，每个候选仍需启动训练验证；failure confidence 为 agent 自报诊断分数，所读正文没有 calibration guarantee。论文的平均改善是在具体专家 baseline 与有限配置集合下的经验结果，不是全局最优证明。 ### R2IF: Aligning Reasoning with Decisions via Composite Rewards for Interpretable LLM Function Calling ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1715/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a68/) #### Idea R2IF 用复合奖励让 function calling 的解释真正支持最终决策：除了格式与调用正确性，还衡量 reasoning prefix 是否提升 student 的调用成功率，以及是否明确说明参数 specification、modification 和 value。它把可解释性落到工具 schema 与参数构造过程，而非奖励更长的 CoT。 #### Research Problem 只用 AST 或最终调用准确率的 RL 可能产生与决策脱节的解释：模型说对工具名，却忽略参数格式、默认值或必要转换。另一方面，无约束的 reasoning reward 容易鼓励表面合理的文字，甚至牺牲严格参数精度，因此需要把过程信号与可验证动作绑定。 #### Insight 有用推理应对后续正确调用产生增益，并覆盖导致参数值的约束与转换。用相同 student 在有无指定 reasoning prefix 时的成功率作比较，可评价该前缀的辅助价值；只在精确匹配的 calls 上计入参数解释分数，可减少错误工具因解释漂亮而获奖。 #### Method 1. 每次 rollout 输出一个 reason block 和随后一个 tool block；Binary Reward 同时检查严格格式和 ground-truth action list，拒用场景检查预定义拒绝输出，最终聚合时提高其权重。 2. CER 预计算经过 faithfulness 训练的 student 的基线成功率，再固定当前 reasoning prefix，让 student 多次续写 tool calls，以成功率增益作为 CoT Effectiveness Reward。 3. SMV 将 reasoning 解析为各调用各参数的解释片段，与 LLM 生成的 specification/modification 参考文档做带阈值的语义相似度比较，同时检查参数值是否出现在匹配的调用中，按参数和调用归一化。 4. 在 ToolACE 筛选的平衡训练子集上，以格式/正确性、CER 和 SMV 的复合奖励进行 GRPO；通过 BFCL、ACEBench 的调用表现及 CoT effectiveness 指标检查决策与解释的一致性。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1715.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1715.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1715.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1715.pdf#page=5) 核读章节：Reward Function Design · Binary Reward · Chain-of-Thought Effectiveness Reward · Specification–Modification–Value Reward · Training Dataset 核读三种奖励的依赖关系和评分条件。CER 衡量特定 student 的续写收益，SMV 依赖生成参考与语义相似度；这些是操作性解释质量指标，并非对内部推理忠实性的完整因果证明。 ### Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1288/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a54/) #### Idea TEPO 用工具调用前后 reasoning segments 的 next-token entropy 变化作为工具质量代理，将其嵌入 GRPO。论文分别设计偏效率的 trajectory-level 稀疏奖励与偏准确性的 tool-level 稠密奖励，让 agent 学习何种工具反馈有助于后续推理。 #### Research Problem 仅用最终答案监督不能区分有效取证与冗余调用；现有过程奖励又常需要任务特定规则、标注或外部 judge。长轨迹中的工具过用增加延迟并可能引入干扰，需要一个可由策略自身计算、同时保留任务正确性约束的中间信号。 #### Insight pilot experiments 发现高质量调用常伴随后续生成 entropy 降低，作者据此把 uncertainty reduction 当作轻量过程代理。该量衡量模型输出分布更集中，而非事实正确性，所以两种奖励都由 final-answer F1 锚定；稀疏与稠密设计改变的主要是信用分配粒度。 #### Method 1. 在同一 SFT 起点上生成数学、搜索及 deep-search 轨迹，用 LLM judge 标注工具质量作 pilot analysis；对每个 reasoning segment 的全词表 next-token entropy 取 token 平均，计算调用前后差值。 2. TEPO sparse 将最终 F1 乘以 entropy-decreasing calls 占全部调用的比例；无工具时仅用 F1，组内标准化后的同一 advantage 赋给整条轨迹。 3. TEPO dense 为每个调用计算 F1 乘以一加 entropy-decrease bonus，将同一问题所有 rollouts 的 tool rewards 合并标准化，并把各调用 advantage 赋给它之前的 reasoning span。 4. 两方案沿用 SFT 后 RL 的训练流程，在 Python computation、Wiki retrieval 及 deep search 任务同时报告准确率和调用次数，比较相同数据与优化配置的 GRPO、ARPO、AEPO 等。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1288.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1288.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1288.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1288.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1288.pdf#page=5) 核读章节：Formalization of Delta Segment Entropy · Entropy-Based Pilot Experiments · Token-Level GRPO Perspective · Sparse Outcome Reward Design · Dense Process Reward Design 核读 entropy 定义及奖励公式；稀疏奖励按正文公式为乘法缩放。entropy–quality 为经验相关代理，未称为无需结果监督的正确性度量。 ### ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1477/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a59/) #### Idea ReviewGrounder 将审稿拆成 draft、针对性 grounding 和 rubric-guided synthesis：先生成结构完整的初稿，再分别核查相关文献、方法论和实验，最后根据通用 reviewer rubrics 形成具体反馈。配套 ReviewBench 用 paper-specific checklists 衡量 substantive review quality，避免只看文字相似度或总体分数。 #### Research Problem 现有 LLM reviewer 容易产生模板化建议、直接接受作者 novelty claims，或给出没有表格/公式依据的批评。仅对 human reviews 做 SFT 可学到格式，却未必学到证据推理；ROUGE/BLEU 和模糊 LLM judging 又难区分表面流畅与正确、可执行的审稿意见。 #### Insight 高质量审稿依赖两类外部支撑：明确的审稿标准告诉模型检查什么，论文和相关工作证据告诉模型具体为何成立。将三类核查职责并行分开，再由 aggregator 合并，可以把泛泛批评改写为指向具体 claim、section、formula 或 comparison 的意见；训练初稿模型与 grounding 模型可采用不同能力规模。 #### Method 1. 从 DeepReview-13K 过滤出有完整论文和至少三份人评的数据，抽样约 1.3K 篇构建 ReviewBench；聚合 human reviews，并由 paper、reference review 和八类 meta-rubrics 生成可逐项验证的 paper-specific rubrics。 2. 在与 benchmark 不重合的数据上微调 Phi-4-14B Drafter，输入论文生成初始 review。Literature Searcher 由标题/摘要/related work 抽 query，通过 Semantic Scholar 检索 2023 年后的候选，rerank 取 top-10 并制作结构化 debrief。 3. Insight Miner 核查方法、贡献及 novelty，Result Analyzer 抽取 datasets、baselines、metrics、gains 和统计证据，三者使用 GPT-OSS-120B 并行补充初稿的依据与可操作建议。 4. Aggregator 接收论文、初稿、grounding outputs 与通用 meta-rubrics，纠错并整合证据。评价时固定 evaluator 和 paper-specific rubrics，对七项正向维度与一项错误 claim 惩罚评分，另用 MAE/MSE、ACC/F1 比较 rating 和 decision。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1477.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1477.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1477.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1477.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1477.pdf#page=6) 核读章节：3.1 Dataset Construction · 3.2 Rubric-based Evaluation · 3.3 Numeric-Field Evaluation · 4.1 Stage I: Draft Review Generation · 4.2 Stage II: Multi-dimensional Review Grounding · 4.3 Stage III: Rubric-Guided Review Synthesis · 5 Experiments 核读 benchmark、三阶段系统与模型分工。生成阶段不提供 human reference 或 paper-specific evaluation rubrics，只使用 generic meta-rubrics；只有 14B Drafter 被训练，其他模块由 120B 模型承担，不能把系统结果归为单个 14B 模型能力。评价衡量与既有人评和所设 rubrics 的一致性，不替代专家最终判断。 ### RIMRULE: Improving Tool-Using Language Agents via MDL-Guided Rule Learning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1599/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a64/) #### Idea RIMRULE 从工具代理的失败经验提炼短规则，使用 Minimum Description Length 整合为精简规则库，推理时按当前任务和工具动态注入。规则同时保留自然语言和符号形式，使其既便于模型理解，又便于压缩、筛选和跨模型复用，无需修改基础模型权重。 #### Research Problem 领域工具可能文档不全或接口特殊，单靠重复尝试不易纠正系统性错误。检索原始 demonstrations 难以抽象经验，统一 prompt 对不同场景不够灵活，而 finetuning 成本高且难直接分享学到的知识。直接让 LLM 合并规则又缺少基于真实纠错效果的筛选标准。 #### Insight 失败与正确 trace 的差异可揭示根因，而非仅记住具体答案。将解释抽象为 if–then rule，再用规则复杂度与修复失败的经验表现联合控制，可以减少重复和过度特定规则；符号 schema 则消除自然语言措辞对检索和长度计算的干扰。 #### Method 1. 运行 zero-shot agent 收集错误或提前终止的 traces，与 ground-truth trace 对比，经 Explanation-Based Learning 提炼 decomposition、tool selection 或 argument construction 规则，并检查原题纠错收益、if–then 格式和长度。 2. 诱导有限词表，将规则映射为 Domain、Qualifier、Action、Strength、ToolCategory 五字段，保留对应自然语言表达作为最终注入内容。 3. 从全部候选规则出发，以符号长度 model cost 与失败纠正结果的 data cost 构成 MDL objective，贪心评估 prune 或工具级到类别级 generalize，仅接受使目标下降的编辑直到收敛。 4. 推理时将查询和工具状态转为共享符号字段，先按适用工具范围过滤，再对符号字段语义相似度排序，取 top-k 自然语言规则加入 ReAct prompt；在已见/未见工具及跨模型规则迁移中评估。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1599.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1599.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1599.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1599.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1599.pdf#page=5) 核读章节：Local Rule Generation · Rule Generation via EBL · Symbolic Representation · MDL-Guided · Rule Retrieval 核读规则生成、MDL 和检索。符号形式用于整合与检索，非直接执行的逻辑规则引擎。正文承认其 Bernoulli plug-in data cost 存在零纠错退化极值，依靠高性能初始化与局部贪心路径规避，不应称全局最优保证。 ### Robust Tool Use via Fission-GRPO: Learning to Recover from Execution Errors ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1880/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a70/) #### Idea Fission-GRPO 把当前策略产生的 tool-call 错误转换成新的 recovery contexts，并从每个错误重新采样一组修复尝试。普通 GRPO 与 corrective GRPO 在同一训练循环交替，让模型学习读懂执行反馈并退出错误重试循环。 #### Research Problem 小模型遇到参数或状态错误后经常重复无效调用，静态纠错数据又难匹配不断变化的策略错误。常规 RL 只给失败轨迹低分，同组全部失败时甚至没有有效相对优势，既缺少如何恢复的上下文，也可能连带压低原本有效的步骤。 #### Insight 错误不只是应惩罚的样本，还可成为带诊断信息的探索起点。以最近 on-policy errors 生成多条 recovery rollouts，可以在原本无差异的失败区产生更丰富的结果；这仍使用同一种 GRPO 损失，主要创新是条件化采样和训练分布的动态重构。 #### Method 1. 普通 rollout 以格式、function/argument correctness 和目标长度的 piecewise Gaussian reward 评分；训练随时间降低格式权重、提高语义正确性权重，先执行常规 GRPO。 2. 格式不合法或 correctness 低于阈值的轨迹进入错误分支；格式错误用确定性 parser-style message，语义错误由 SFT Error Simulator 根据 schema、history、错误调用及 gold call 生成 runtime-like diagnosis。 3. 将原上下文、失败尝试和诊断拼成 corrective context，可按上下文与错误哈希去重，写入 LIFO buffer 优先训练最近错误。 4. buffer 达到 batch 条件后，每个 corrective context 用当前策略采样多条恢复轨迹，在该 fission group 内重新计算相对优势并作 GRPO 更新；可对新失败递归执行此过程。 5. 在 BFCL v4 Multi-Turn 测恢复率与任务成功，并在 TAU/TAU2 的交互工具和用户模拟环境测试迁移；训练 simulator 用独立约两千条诊断数据，任务训练保留经多重审核的小规模样本。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1880.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1880.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1880.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1880.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1880.pdf#page=6) 核读章节：Reward Design · Stage 1: Standard Exploration and Update · Stage 2: Error Identification and Corrective Sample Construction · Stage 3: Corrective Batch Training · Experimental Setup 核读错误筛选、simulator 输入、LIFO 与重采样目标；gold call 用于训练反馈合成，评估环境提供交互错误反馈，未描述为部署时可访问任务答案的能力。 ### TEA-Bench: A Systematic Benchmarking of Tool-enhanced Emotional Support Dialogue Agent ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2152/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a82/) #### Idea TEA-Bench 把 emotional support conversation 的评价从共情表达扩展到 tool-grounded instrumental support，要求现实性建议中的时间、地点、天气等事实可追溯。它提供场景化工具环境、模拟用户与逐轮事实检查，同时衡量情感支持质量和 factual grounding。 #### Research Problem 传统 ESC benchmark 主要看文本是否温暖、流畅，无法区分有事实依据的实际帮助与听起来体贴但捏造情境的建议。一般 tool-use benchmark 又以明确任务完成为终点，不适合没有固定 terminal goal、需要顺应用户情绪和接受程度的支持性对话。 #### Insight 工具的价值在此不是完成一张预设调用清单，而是帮助 agent 判断何时需要外部信息，并将信息转成合适的建议。必须把用户可见对话质量与 agent 内部证据来源分别评估，否则少说事实的模型可能显得低幻觉，频繁调用工具的模型也未必更有帮助。 #### Method 1. 从 ExTES 筛选情境丰富的案例，生成潜在时间、城市和场所属性，再以地图 API 对齐具体地点、坐标及时区并人工审查，得到 81 个 TEA-Scenarios。agent 只能通过工具或用户信息获得相关 context。 2. 提供七类共 31 个 MCP-style tools，覆盖社区经验、地图、天气、新闻、知识与音乐等；time-sensitive tools 按场景时间返回信息，Utils 则读取预设 latent context，模拟设备级信息获取，工具使用由 agent 自主决定。 3. 以场景条件化 LLM 模拟 action-oriented 与 emotion-oriented 两类用户，最多交互 15 轮。agent 看到工具历史，用户只看到自然语言；Hallucination Detection Module 对照用户信息和工具观察检查新事实的 provenance，并让模拟用户对不可靠内容表达疑问。 4. 用 LLM evaluator 按 Diversity、Fluency、Humanoid、Information、Effectiveness 五维评分，并分别报告 factual-content ratio、hallucination ratio、hallucination rate。九个模型的 with/without-tool 比较显示收益依赖模型能力，同时补充人工评价检查自动指标。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2152.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2152.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2152.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2152.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2152.pdf#page=6) 核读章节：3.1 Task Definition · 3.2 Scenario Construction · 3.3 Tool Environment · 3.4 Interactive Evaluation Framework · 3.5 Evaluation Metrics · 4.1 Experimental Setup · 4.2 RQ1: How Well Do Current Models Perform in Tool-enhanced ESC? 核读场景生成、隐藏信息、MCP 环境、user simulation 和指标。Effectiveness 是模拟用户接受/整合建议的对话指标，不能解释为真实用户心理健康疗效；HDM 检查的是证据可追溯性，未覆盖所有外部事实真实性。工具增强收益为本 benchmark 的实验观察。 ### Temp-R1: A Unified Autonomous Agent for Complex Temporal KGQA via Reverse Curriculum Reinforcement Learning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1184/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e141/) #### Idea Temp-R1 将 temporal KGQA 从固定多组件流程转为单个可训练代理，并显式区分 plan、filter、rank 等内部动作与 search 外部动作。训练先接触复杂多跳问题，再引入简单题，旨在先建立时间约束组合能力，防止过早收敛到一次搜索就回答的捷径。 #### Research Problem 时间知识图问答需要同时处理多跳实体关系、时间粒度、筛选与先后排序，固定 workflow 和闭源 API 组合缺乏灵活性。直接在简单题上开始 RL 容易强化最短 search→answer 模式，后续难以探索复杂动作组合；用单一 think 表达全部子过程也增加推理负担。 #### Insight 将时间推理操作显式分解为 action primitives，可暴露中间状态并减轻单步认知负担。对于存在明显简单捷径的数据，easy-to-hard 并非必然最佳：先迫使策略处理需要多种操作的题，再混入简单题，可能减少路径依赖并保留复杂推理能力。 #### Method 1. 状态由原问题和完整历史构成；要求先生成 plan，分析题型、时间约束、子问题和答案格式，再自主选择 search、filter、rank 或 answer，只有 search 调用 TKG retriever 返回外部信息。 2. 用 GPT-4o 生成带规划及推理 primitives 的正确轨迹，检查标签结构和答案，进行 cold-start SFT；损失仅作用于代理生成 tokens，屏蔽提示、问题与检索返回。 3. 以 GRPO 在 TKG 交互环境采样轨迹，使用最终答案是否等于 ground truth 的 binary reward，加 clipping 和 KL regularization 学习动作策略，不设置额外逐步骤人工奖励。 4. Reverse Curriculum 在前期仅训练复杂多跳问题，达到 warm-up threshold 后混入单跳题；在 MultiTQ、TimelineKGQA 及跨域数据上检查复杂时间推理和泛化。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1184.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1184.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1184.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1184.pdf#page=5) 核读章节：Overall Framework · Rollout Loop of Temp-R1 · Cold-Start: Learning Structured Format Alignment · RL: Acquiring Autonomous Reasoning and Strategy Exploration · Reverse Curriculum Learning Strategy 核读内部/外部动作区分与 hard-first 数据调度。filter 和 rank 是模型内部文本动作，不是独立外部检索工具；避免捷径的解释由作者训练分析支持，不是一般任务的课程学习定律。 ### The Confidence Dichotomy: Analyzing and Mitigating Miscalibration in Tool-Use Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.520/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a25/) #### Idea 论文先比较 evidence tools 与 verification tools 对 agent verbalized confidence 的不同影响，再提出 Calibration Agentic RL，联合优化答案准确率和显式置信度。其 MSCR 奖励让任何正确回答都严格优于低置信度错误回答，以避免校准训练把“诚实失败”当作有竞争力策略。 #### Research Problem 工具增强往往只用最终正确性训练，不能保证 agent 知道自己何时错；既有校准研究又多集中在搜索，容易把过度自信当作所有工具的共同效应。单纯 Brier reward 与 correctness 相加还可能出现奖励区间重叠，使降低错误答案的信心替代真正完成任务。 #### Insight 检索给的是含噪 evidence，执行器给的是结构化计算反馈，二者在所测任务中的 confidence shift 不同；因此应直接训练概率表达而非假设能力增长自动带来校准。把正确与错误样本奖励区间分开，保留置信度误差的梯度同时维持完成任务的首要激励。 #### Method 1. pilot 用相同 Qwen backbone 比较 direct prompting、prompted tool-use 和 RL tool-use，在检索 QA 与 Python 数学任务上统计共同答错问题的 Mean Confidence on Incorrect Predictions，并作显著性比较。 2. 以 Search-R1 的 Wikipedia2018/E5 检索环境、NQ 与 HotpotQA 训练数据执行 GRPO，要求最终答案包含 0–100 confidence tag，同时验证 reasoning/action/observation 结构。 3. 比较 correctness 减加权 Brier error 的奖励及 MSCR：正确答案至少一分且信心越高奖励越高，错误答案至多零分且错误信心受到平方惩罚；格式失败另罚。 4. 在 ID 和 SimpleQA-verified OOD 上共同报告 accuracy、十 bins ECE、Brier score 与 AUROC，并与仅正确性训练、temperature scaling 和工具惩罚方法比较，以分辨平均降信心与更好的正确性排序。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.520.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.520.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.520.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.520.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.520.pdf#page=6) 核读章节：Pilot Study · Calibration Agentic RL (CAR) · Training Details · Reward Design · Evaluation Details 核读 pilot 配置、两种奖励及测度。工具类型解释来自作者跨任务实验，不能排除任务与工具共同变化的影响；verbalized confidence 校准不等同推理证明或行为安全。 ### The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.376/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a17/) #### Idea 论文用 SimpleToolHalluBench 专门测试 agent 在缺少适用工具时能否 abstain，并追踪 reasoning enhancement 与 tool hallucination 的关系。研究将工具任务上的能力提升和无工具条件下的可靠性分开测量，发现二者可能同时向相反方向变化。 #### Research Problem 常规 tool-use benchmark 假定任务可解且所需工具存在，因而无法揭示模型捏造不存在工具或强用无关工具的倾向。已有更强 reasoning 与幻觉增加的观察也未区分 tool-data overfitting、RL 本身、显式思考和一般 instruction-following 退化等解释。 #### Insight 成功调用工具与知道何时不能调用是不同能力；只奖励可解任务的 reasoning，可能强化持续完成请求而非承认能力边界。通过无工具训练、同模型 thinking toggle 和匹配训练条件的 ablation，可以缩小替代解释范围；representation drift 与 residual-stream 可分性则为该失效提供相关性线索。 #### Method 1. 从 AgentSafetyBench 选 296 个工具并生成需要相应外部能力的 queries，建立 No-Tool-Available 与 Distractor-Tool 两种条件，所需工具均不提供；用 LLM judge 统计捏造工具/结果或误用 distractor 的比例。 2. 以 Qwen2.5-7B 在 SynTool 上复现 ReCall，沿 checkpoints 同时测 task reward 与 hallucination；再在不含工具的 GSM8K 上做 reasoning RL，并比较 R1-distilled models 与 Qwen3 thinking on/off，检查现象是否限于特定训练数据。 3. 保持数据、reward、optimizer 和 hyperparameters 相同，对比 direct tool-use RL 与要求 think-then-act 的 RL；另测 IFEval、ComplexBench 和 BFCL Multi-Turn，以检查一般遵循能力或 tool competency 下降是否解释幻觉增加。 4. 用 CKA 比较 RL 前后 in-domain/math 与 OOD/tool representations，再用 linear probe 评估正确/幻觉回答在不同层 attention、MLP 与 residual stream 的可分性；最后研究 prompting 和 DPO 缓解时与 utility 的取舍。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.376.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.376.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.376.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.376.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.376.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.376.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.376.pdf#page=8) 核读章节：3.1 Benchmark Design · 4.1 The Side-Effects of Tool-Specific Reasoning RL · 4.2 Non-Agentic Reasoning RL Can Also Be a Driver of Tool Hallucination · 4.3 Generalizing the Impact of Reasoning on Tool Hallucination · 4.4 Isolating Reasoning as the Driving Factor · 5.1 Representation Collapse: Reasoning RL Destabilizes Tool Pathways · 5.2 Localizing Activation Differences · 6 Is There a Free Lunch in Mitigating Tool Hallucination? 核读诊断构造、控制实验、CKA 和 linear-probe 方法。所读实验支持当前模型/训练设置中的关联及显式 reasoning 条件影响，不能推出任何推理提升必然增加幻觉；CKA 下降与 late-layer 可分性不是直接干预证明的神经因果机制，缓解取舍也非普遍不可能性定理。 ### TInR: Exploring Tool-Internalized Reasoning in Large Language Models ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2077/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a79/) #### Idea TInR-U 探索 Tool-Internalized Reasoning：把工具功能、schema 与使用方式编码进模型参数，并以专属 tool tokens 统一推理和调用，使推理时无需把完整工具文档塞进上下文。训练同时解决工具知识记忆与多步 reasoning 的协调，而不仅训练从问题直接输出 API。 #### Research Problem 常规 TIR 每次依赖外部文档，随着工具增多造成 context 和推理成本上升；先检索工具又引入上游漏检上限。仅将工具编码为 token 仍不足以保留参数细节，也未必能在复杂推理中正确选择和组合工具，因此需要专门的知识对齐与推理训练。 #### Insight 文档到 token 的识别、token 到文档的重建以及实际任务到调用的映射承担不同作用：分别建立身份、保存细节和连接使用场景。先生成候选工具 token、再生成参数，可降低一次生成完整动作的负担；后续 SFT 和 RL 再把内化知识用于有序推理。 #### Method 1. 为工具扩展专用词表 tokens，设置 tool_token 与 tool_call 两阶段输出标签。Phase 1 联合优化 documentation→token memorization、token→documentation recall 与 instruction→action usage grounding。 2. 构造 SFT 数据时，为每题提供包含 ground truth、检索和随机工具的候选文档，由强 reasoning model 生成轨迹并按真实调用筛选；把 reasoning 中工具名替换为对应 tool tokens。 3. 以通过筛选的多步轨迹 warm-up 模型，再用 GRPO 优化格式和调用奖励；正确性由工具 token 集合与参数集合的 Jaccard similarity 组成，训练移除 KL penalty 以加快适应。 4. 推理遵循标签协议，交替生成 reasoning、工具选择、参数与后续动作，吸收工具返回直到任务结束；通过 seen/unseen instruction-tool splits 和 BFCL 域外设置分别测工具识别及完整调用。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2077.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2077.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2077.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2077.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2077.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.2077.pdf#page=7) 核读章节：Task formulation · Tool Internalization · TInR SFT Warm-up · TInR RL · Inference · Setup 核读三阶段目标与奖励。无需文档是作者针对已建立工具 token/知识表示的推理设定，不应扩展为任意新 API 无需知识获取；实验 unseen 的定义依据训练数据中目标工具出现情况。 ### ToolPRM: Fine-Grained Inference Scaling of Structured Outputs for Function Calling ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.855/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a40/) #### Idea ToolPRM 将 structured function calling 拆成函数选择、参数名称和值填充等 intra-call 决策，训练逐步评分器并指导 beam search。与对完整调用作 Best-of-N 相比，它在错误尚未扩展成整条 JSON 时即可筛掉不良前缀。 #### Research Problem 现有 inference scaling 主要针对自由文本推理，工具调用通常把整轮输出视为单一评价单位，无法定位错误源于 function selection 还是 argument filling。在自回归 JSON 生成中，已写错的名称或参数往往无法靠后续 token 修复，持续保留错误 beam 会浪费预算。 #### Insight 结构输出有自然可检查的语义边界，可将它们变成 process supervision。作者发现更适合的预算分配是每步多探索、只保留少量高分前缀，而不是长期维持大量路径；该原则针对固定前缀的结构解码，不能外推到允许编辑或回滚的所有工具 agent。 #### Method 1. 从 xLAM function-calling 与 irrelevance 数据出发，随机替换 function/parameter identifiers 保留 descriptions，使用 Hammer policy rollouts 增加依赖语义而非记忆名字的候选。 2. 按可接受 gold calls 作 exact-match 标注，提供 FUNC_NAME、ARG_VALUE、PARAM_FINISH、FUNC_FINISH、TOTAL_FINISH 五种 binary labels，兼顾局部参数与调用/整轮完成层级。 3. 将生成过程表示为 initial、function selection、parameter-name selection、value filling 和 terminated states，以当前 query、schema、partial call 为输入，训练 LLM 预测正负标签 tokens。 4. 推理时每个保留前缀扩展 M 个后续步骤，以正负标签 logits 的归一化正例概率打分，只保留 top-N candidates，循环到结构化响应结束。 5. 在 reward-model held-out 数据比较逐步预测，并在 BFCL/ToolAlpaca 检验 test-time scaling；分析不同 expansion 与 retention budget，验证更宽探索、较窄保留的配置效果。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.855.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.855.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.855.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.855.pdf#page=5) 核读章节：Fine-Grained Decomposition of Function Calls · Data Collection and Annotation · State Transition Mechanism and ToolPRM Training · Beam Search with Fine-Grained Process Supervision 核读标签定义、训练目标与搜索评分。exact-match 标签检验对参考调用的符合程度，不是外部 API 实际执行效果；未把小 beam 经验结论称为所有结构搜索的理论最优。 ### Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2037/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a77/) #### Idea Trajectory2Task 采用 trajectory-first 数据合成：先在可执行工具环境中探索真实可运行的调用链，再反向生成用户任务，并加入 ambiguous、changing、infeasible intent。这样任务有可验证的执行结果作为基础，同时训练 agent 进行澄清、适应目标变化和遵守不可行约束。 #### Research Problem 现有 tool-use 数据常假设用户目标固定且信息完整；task-first 合成又需要 solver 生成 reference trace，若 solver 错误，错误可能被当作 gold。真实客服交互中的缺信息、用户改主意和政策禁止请求既影响 dialogue，也影响 backend writes，单看调用格式不足以评价。 #### Insight 从已执行轨迹反推任务，可以先确定环境中可达到的状态，再控制用户如何表达或逐步透露目标。把复杂 intent 放在任务和 user simulator 中，而保持可执行骨架，有助于同时获得交互难度与自动验收条件；不可行任务的成功应定义为诊断和合规响应，而非满足原请求。 #### Method 1. 在 Tau2-Bench 的工具和数据库上建立 API dependency DAG，从用户库抽 profile、从 trajectory bank 取 seed，再沿工具图 random walk 取子集，由 explorer 实际执行多步调用；新轨迹回存 bank 扩大覆盖。 2. 过滤没有数据库变化、无人工转交且无必要沟通输出的轨迹，由 summarizer 转成自然语言任务；validity-check LLM 按 realism、necessity、correctness 检查任务与 trace 的一致性，并以抽样人工审查检查 judge。 3. 在 ambiguous 条件隐藏关键参数直到 agent 提问；changing 条件设置真正中途改目标或新增请求；infeasible 条件注明政策/工具限制、required diagnostic actions 与 forbidden actions，按完成前者且避免后者验收。 4. 让强模型在合成任务中与模拟用户和工具闭环 rollout，保留自动 verifier 通过的成功 interaction trajectories，包括 reasoning 与 outward actions；用 token likelihood SFT 小模型，再测试三类 intent 及未见工具领域的迁移。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2037.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2037.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2037.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2037.pdf#page=6) 核读章节：3.1 Problem Formulation · 3.2.1 General Synthesis Pipeline · 3.2.2 Complex User-Scenario Construction · 3.3 Trajectory-based Supervised Fine-Tuning 核读探索→任务生成→重新 rollout 训练的两个不同轨迹阶段。执行结果提供 gold database state，但任务自然性、意图映射和 policy labels 仍依赖 LLM validity check，非完全形式化保证。infeasible task 的 gold 是合规诊断/响应轨迹，不能写成原本不可行目标被执行成功。 ### Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.452/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a21/) #### Idea GEM 提出 Text-to-Trajectory 数据范式：从网页语料中已有的操作经验抽取任务、工具与流程，再合成多轮工具交互。它把数据来源从预先准备的 API 库转向广泛程序性文本，并进一步蒸馏出能直接将文本转为轨迹的 Trajectory Synthesizer。 #### Research Problem 多轮 tool-use 数据难获得，依赖固定工具集合的模拟容易限制领域、工具和行为多样性。现实文本已经记录大量多步骤操作、条件和失败处理，但这些隐含经验未被系统转成训练代理可用的结构化交互；全流水线反复调用强模型又带来较高合成成本。 #### Insight 操作性文本中往往同时存在目标、可执行功能和步骤依赖，足以提供工具交互的原型。先抽象 workflow 再设计单一功能工具，可保留源文本的任务逻辑；通过复杂化和上下文 grounding 检查，能把简单说明扩展为包含澄清、拒绝和恢复的多轮训练轨迹。 #### Method 1. 过滤不含 multi-step operations 的原始文本，分析保留段落的领域与任务类别；从每段抽取步骤、先后依赖、条件逻辑和唯一性约束，并按 OpenAI schema 设计对应工具定义。 2. 用 GLM-4.6 根据原文、workflow 与工具一次生成完整轨迹，包含领域 system rules、多轮用户请求、assistant actions 和模拟工具返回，鼓励澄清、能力外拒绝及错误恢复。 3. Refinement 扩展工具种类、改进模拟反馈、增加用户歧义与非平凡调用链；规则检查 schema、参数类型、角色格式，Qwen3-32B judge 再检查参数值是否来自已有对话上下文。 4. 保留合格轨迹做 agent SFT，并训练端到端 Trajectory Synthesizer 学习 text→tool definitions plus trajectory，以降低重复合成成本；通过 BFCL V3 Multi-turn 和 τ-bench 检验跨环境泛化。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.452.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.452.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.452.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.452.pdf#page=5) 核读章节：Preliminary Analysis · GEM Synthesis Pipeline · Workflow & Tool Extraction · Trajectory Generation · Refinement · Validation · Data Synthesizer 核读四阶段管线和过滤。工具由文本描述合成，observation 是模拟生成；这里的 trajectory grounding 主要指参数有对话依据，不应声称全部轨迹经过真实 API 执行。 ### ZARA: Training-Free Motion Time-Series Reasoning via Evidence-Grounded LLM Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.684/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e81/) #### Idea ZARA 把运动传感器序列转为可解释统计证据，由 LLM agents 逐步挑特征、排除活动并作最终判断。它分离静态的 activity-pair feature-importance knowledge 与随用户/传感器位置变化的局部检索证据，以冻结 encoder 和 LLM 支持无需在线参数适配的 HAR。 #### Research Problem 固定分类器适应新用户、硬件或类别通常需要重新训练，直接把长数值序列或曲线图交给 LLM 又有 token 成本和 grounding 问题。一般 RAG 返回相似窗口，但未说明哪些物理特征真正区分候选活动，也易让多数类覆盖长尾候选。 #### Insight 候选活动间的可区分物理属性与当前部署下这些属性的分布是两种不同知识。前者指导应测什么，后者给出当前 query 与各类的实际对照；分阶段缩小候选再重新选细粒度特征，使自然语言结论能指向明确统计量和参考窗口。 #### Method 1. 离线从 labelled motion windows 提取均值、方差、RMS、频域和跨通道统计；对活动对使用 AutoGluon 与 permutation feature ranking，经交叉验证聚合 importance，存成可查询 feature registry。 2. 按身体佩戴位置建立 vector stores，以冻结 Mantis 编码器生成归一化 embeddings，FAISS 检索；数据同时保存 labels、统计特征和 sensor metadata。 3. 对每个候选活动分别检索参考窗口，多传感器按同步样本索引用 Reciprocal Rank Fusion 融合，保证每个假设都有局部证据。 4. Feature Selector 先依全候选知识选粗特征，Evidence Pruning 比较 query 与各类 mean±std 剔除不匹配活动，再针对剩余候选选更细特征，Decision Insight 输出 label 与统计依据。 5. 采用 subject hold-out，知识库与索引只来自 seen subjects；较多类别场景可先取最相关十类，再进行层级推理，并以跨数据集设置检验迁移。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.684.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.684.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.684.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.684.pdf#page=5) 核读章节：Decoupling Knowledge and Evidence · Offline Statistical Profiling (Global Priors) · Placement-Specific Retrieval (Local Evidence) · Class-Wise Multi-Sensor Retrieval · Hierarchical Multi-Agent Reasoning 核读知识构建、检索和 agent 流程；training-free 指推理时冻结参数，离线 knowledge profiling 仍使用带标签数据及 pairwise classifier/importance 估计，新活动需注册统计 profile。 ### ACIArena: Toward Unified Evaluation for Agent Cascading Injection ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.457/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e46/) #### Idea ACIArena 以统一接口评测 Agent Cascading Injection：将多种 MAS、不同注入入口和攻击目标组合成可扩展测试环境，观察受损 Agent 的内容如何通过协作传播。基准包含 1,356 个测试实例、28 种攻击和六类 MAS，并提出逐步语义裁剪防御 ACI-SENTINEL。 #### Research Problem 已有研究常固定一种入口、角色或简化拓扑，容易把系统稳健性归因于网络结构，却忽略角色职责、交互方向与正常任务能力。只看低 ASR 也可能奖励本来就不会完成任务的系统，无法比较攻击传播和效用损失。 #### Insight 同一拓扑换角色配置可出现明显不同风险，因此需要控制完整协作协议而非只比较连边。恶意信息可能与正常任务紧密结合，孤立识别危险词不足以防传播；保留当前任务必需语义、减少无关指令进入下游，是论文防御的基本逻辑，但裁剪可能损失复杂推理所需上下文。 #### Method 1. 以 agent 的 policy、profile、memory、tools 和 MAS 有向通信图统一建模，暴露 Adversarial Input、Malicious Agent/Profile、Message Poison 三类干预入口，攻击目标分别为 Hijacking、Disruption、Exfiltration。 2. 从 GSM8K、MATH500、HumanEval、MBPP、GPQA、MedMCQA 选择数学、代码、科学、医疗任务；LLM judge 按复杂度、可分解性、歧义评分，优先保留适合协作且答案可验证的任务。 3. 以人工初始目标启动 generate–mutate–select，黑盒执行候选并按入口自然度及目标达成程度筛选，无梯度优化；将攻击与 benign task 配对，统一接入 MetaGPT、AutoGen、CAMEL、Self Consistency、LLM Debate、AgentVerse。 4. 主实验设一个 malicious agent，分别报告无攻击 pass@1 的 BU、攻击下相同口径的 UA，以及字符串检查或 judge 判定的 ASR；PVI 再结合受损角色到最终响应的最短距离与其 ASR，诊断远距离传播。 5. 控制拓扑与 profile 作对照，并评估 detector、delimiter、sandwich、AGrail、G-Safeguard 等防御；ACI-SENTINEL 在每个 Agent step 后裁剪状态，仅保留完成任务所需的语义信息，联合检查安全收益与效用代价。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.457.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.457.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.457.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.457.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.457.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.457.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.457.pdf#page=8) · [PDF p. 9](https://aclanthology.org/2026.acl-long.457.pdf#page=9) 核读章节：Preliminaries · Threat Model · ACIArena · Benign Tasks · Attacks in ACIArena · Evaluation Suites · Benchmarking Results · Defenses Evaluation 已核读威胁权限、案例生成、BU/UA/ASR/PVI 及 ACI-SENTINEL；第 7–9 页直接读取官方 PDF。基准主要以最终响应判定目标，传播指标是结构加权诊断，不声称低 ASR 自动说明安全能力更强。 ### Action Boundary Blindness: When LLM Agents Cannot Tell Where One Action Ends and Another Begins ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1711/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e203/) #### Idea 论文将 Action Boundary Blindness 定义为 agent 即使选对 action type，仍误判执行 granularity、scope 或 completion 的现象。它构建过程评价管线与 boundary-aware metrics，并用 Explicit Boundary Prompting（EBP）测试显式范围检查能否改善行为。 #### Research Problem 传统 task success、tool selection 或高层规划评价难捕捉“做多了”与“做少了”：例如正确选择删除操作却影响错误对象，或执行返还但漏掉必要步骤。单一 reference trajectory 又可能把合法替代路径误判为边界错误，因此诊断需要语义对齐与等价过滤。 #### Insight 动作的含义包含 preconditions、effects、affected entities 和 granularity，不只是操作名称。将这些维度与参考流程比较，可以揭示最终成功掩盖的过程偏差；若 explicit boundary cues 能改善表现，则至少部分问题可通过 elicitation 缓解，而不必全部归因于缺乏能力。 #### Method 1. 将 action boundary 表为 pre/eff/scope/gran，定义 granularity confusion、scope creep 与 start/end ambiguity。用 counterfactual substitution test 区分错误动作类型与正确类型下仍残留的执行边界问题。 2. 以语义相似度改造 Needleman–Wunsch 对齐 agent/reference sequences，识别 matches、insertions 和 deletions；再用 state、effect 和 native outcome equivalence 排除可识别的合法替代路径。 3. 明确案例用规则、模糊案例用 GPT-4 judge 分类；统计 ABS 的边界正确动作比例、GAR 的长度对齐、SVR 的范围错误，以及同时成功且 ABS 超阈值的 BASR，并通过人工审查和多标签归因校验。 4. 在 1,655 个跨 API、web、GUI、embodied tasks 上比较模型与 agent frameworks。EBP 加入范围/完整性指南、atomic/compound examples 和检查清单，分别消融提示组件并衡量性能及 token overhead。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1711.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1711.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1711.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1711.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1711.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1711.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.1711.pdf#page=8) 核读章节：Formal Definition · Taxonomy of Boundary Violations · Distinguishing from Related Concepts · Evaluation Framework · Boundary Violation Detection · Evaluation Metrics · Explicit Boundary Prompting · Validation 核读定义、自动对齐、等价过滤、指标与人工校验。作者人工 audit 估计约 22% false positives，说明 reference-path 依赖仍有限制；EBP 改善支持可缓解性，不能独自证明全部错误都只是 elicitation gap。 ### AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2058/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e236/) #### Idea AgentGym2 以去除理想化条件的开放数字环境评测 LLM Agent：仅提供基础可组合工具，让 Agent 自行发现额外接口、处理原始附件和噪声，并完成复杂工具使用、端到端数据分析与 deep search。437 个任务结合真实工作需求和受控困难因素。 #### Research Problem 已有 benchmark 常预先提供最合适工具、清洗好数据并把请求写得完整，绕过真实部署中关键前置步骤。因此高分不能说明 Agent 能发现未知工具、清理数据、解决含糊指代，或识别用户记忆中的错误线索。 #### Insight 评测应保留完成任务不可省略的探索和数据处理过程，同时让最终答案仍可验证。开放工具空间与受控干扰结合，能区分不充分探索、盲信错误条件和推理失败；任务原型来自现实需求，但包含人工合成和改造，不能简单等同于自然生产流量。 #### Method 1. 框架解耦 environment、tools、agent 和 task configurations，覆盖代码运行、文件系统、搜索、浏览器与互联网；27 类基础工具支持多模态与组合，允许外网发现新资源，并以隔离文件、浏览器、sandbox 及异步并发保证实验独立。 2. 构造 182 个 complex tool use 任务，其中 57 个侧重 discovery、125 个侧重 composition；由真实讨论或现有 benchmark 改造，将关键实体放入 CSV/JSON/图像等附件并可能加 distractor，迭代确认需处理附件且答案唯一。 3. 基于 GitHub/Kaggle 等来源构造 57 个 data analysis 任务，保留 EDA、清理、处理及深入分析要求，通过人工核验保证基础工具能够完成。 4. 198 个 deep search 分 114 个 ambiguity-only 与 84 个 ambiguity-with-bias：前者由 Wikipedia 实体关系递归生成，后者来自记忆型问题或注入带不确定措辞的错误属性，人工确认目标答案不变。 5. 各任务答案为短字符串或数值，由 Qwen3 judge 判断语义等价；ReAct Agent 每轮可多工具调用，最多 100 轮，固定设置重复三次，报告 Avg@3/Pass@3，并分析模型规模、成本、交互轮数和失败类别。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2058.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2058.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2058.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2058.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2058.pdf#page=6) 核读章节：AgentGym2 Framework · Architecture Overview · Features and Characteristics · Benchmark Construction · Experimental Setups 已核读工具开放性、三类任务构造和 judge 协议。基础环境有 runtime isolation，并非完全不受控；最终评价主要为答案等价，不自动证明所有中间操作正确或真实部署需求均满足。 ### AgentOCR: Reimagining Agent History via Optical Self-Compression ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.230/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e21/) #### Idea AgentOCR 将不断增长的 observation–action 历史渲染为图像，让 VLM 以较少 visual tokens 读取历史；segment optical caching 复用重复文本片段的渲染结果，self-compression 则把下一步图像压缩率作为 Agent 的显式决策，与任务成功共同进行 RL 优化。 #### Research Problem 长程文本历史增加 prefill、KV-cache 和训练内存开销；直接换为 optical history 又可能使未经训练的 VLM 无法可靠利用细节。每步重新渲染完整历史很慢，固定高压缩率也会模糊关键文本，因此需要同时解决渲染复用、策略适配与动态保真度。 #### Insight 视觉 token 可以作为密度更高的历史载体，但压缩收益取决于任务对细小文字的敏感度。以最终成功为前提奖励压缩，使成本优化服从任务；即便如此，持续给压缩奖励仍会产生过度压缩，作者用间歇奖励缓解，而非假设成功门控已保证无性能损失。 #### Method 1. 外部 memory buffer 保存原始交互记录，按确定性字体、尺寸和布局渲染成 RGB 历史图；策略输入任务指令及该图，输出 action，执行后追加新 observation/action，保留原始文字记录以供重新渲染。 2. 将历史按片段拆分，以内容 hash 为 key 建立每环境、每 episode 的图像缓存；仅 cache miss 片段重新渲染，再按原顺序垂直拼接，episode 结束重置，重复 boilerplate 和工具结果可共享存储。 3. 策略同时输出 compression factor c≥1；系统把下一步历史图的高宽分别缩至原来的 1/√c，从而减少像素与 visual tokens。此机制调整渲染精度，不是摘要删除或历史检索。 4. 用 GRPO 训练，成功轨迹的步骤获得 ln(c) 压缩奖励，失败轨迹该项为零；与任务 reward 加权相加，默认 λ=0.01，并每五个训练 iteration 才加入效率奖励，避免每轮驱动贪婪压缩。 5. 在 ALFWorld 和 search-based QA 比较文本/视觉历史的无 RL 与 GRPO 版本，测成功/EM、平均及峰值上下文 token，并消融缓存和压缩率；约 20× 是相对整史重渲染的 rendering speedup，搜索 QA 在激进压缩下更易退化。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.230.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.230.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.230.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.230.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.230.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.230.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.230.pdf#page=8) 核读章节：Problem Setup · Agentic Reinforcement Learning · AgentOCR · Optical Memory Encoding · Segment Optical Caching · Agentic Self-Compression · Experimental Setup · Analysis of Cache · Analysis of Self-Compression 已核读编码、片段缓存、成功门控和间歇 reward；第 7–8 页直接读官方 PDF，read_pages 均按真实 PDF 序号。文本 baseline 用 Qwen2.5、视觉版用 Qwen2.5-VL，不能把全部差异归因于历史模态；缓存不等同于复用视觉 encoder 或整套推理 KV。 ### Behavior Knowledge Merge in Reinforced Agentic Models ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1524/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e186/) #### Idea Reinforced Agent Merging（RAM）按 RL task vectors 的重叠分布合并不同领域 agents：多个任务共同更新的参数取平均，仅一个任务更新的参数保留原强度；RAM+ 再依据 overlap/unique ratio 放大 unique updates，以减少合并后的能力稀释。 #### Research Problem 从同一 base model 训练出的 coding、tool-use、memory agents，其 RL updates 可能高度稀疏且分布不同。统一全局平均会把某个任务独有的非零更新与其他任务的零值平均，使关键行为信号缩小。论文研究如何在不重新联合训练的情况下保存这些 specialized behaviors。 #### Insight 共享参数上的 averaging 可以平衡任务，独有参数上的 averaging 却可能只有 dilution 而无冲突缓解收益。作者用参数重叠统计近似功能贡献，并以 unique-region rescaling 补偿 shared-region 收缩；这种 functional equivalence 依赖简化假设，不是不同任务能力可线性相加的保证。 #### Method 1. 计算各 RL agent 相对于共同 base 的 task vector，以绝对值阈值构建 active-update mask；逐参数统计有多少任务激活，区分 unchanged、unique 和 shared regions。 2. 为每个任务计算 shared active parameter count 与 unique count 的比值 ρ；RAM+ 使用 λ=1+r·clip(ρ,0,α) 产生有上限的 task-specific scaling，避免高 overlap 情况下无限放大。 3. 逐参数合并：无 active task 时置零，unique update 按 λ 保留或放大，shared update 只在 active tasks 中平均，再加回共同 base parameters；RAM 对应 r=0 的无额外放大版本。 4. 以 CURE、ToolRL、MemAgent 等共同 backbone 的 checkpoints 进行 coding、BFCL tool-use 与 long-context memory 测试，并做 unique-vector dilution 与 scaling ablations；方法需要可访问且参数对齐的模型，不能直接合并异构黑盒 APIs。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1524.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1524.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1524.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1524.pdf#page=6) 核读章节：Heterogeneity in Sparsity and Distribution · Signal Dilution · Merging Reinforced Agentic Models · Experimental Setup 核读 active-only averaging 与 RAM/RAM+ 区别；rescaling 推导依赖 isotropic contribution 等近似，不作为严格性能保持证明。 ### Can We Predict Before Executing Machine Learning Agents? ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.182/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e18/) #### Idea FOREAGENT 在 ML agent 的 candidate generation 与昂贵执行之间加入 Data-centric Solution Preference：给 LLM task description、Verified Data Analysis Report 和两份候选代码，先预测哪份更值得运行。通过 Predict-then-Verify loop 扩大便宜的候选探索，只执行筛选出的少量方案。 #### Research Problem ML agent 每次验证 hypothesis 都可能触发长时间模型训练，使 tree search 受 execution latency 限制；而仅依据代码复杂度筛选又忽略算法与数据的适配。论文研究 LLM 是否能在不运行候选模型的情况下预测相对优劣，以及这种不完美预测如何真正节约 agent 的搜索成本。 #### Insight 代码本身不足以判断 ML solution，数据规模、分布与特征的语义解释能为 static preference 提供额外信息。预测器适合作为保守的前置 filter，执行反馈仍用于锚定最终选择；文中约 61.5% 的 pairwise accuracy 和实验中的 validation-test gap 都不能构成静态预测的普遍理论上限。 #### Method 1. 收集 AIDE、AutoMind 在 MLE-bench 26 个任务中的真实执行轨迹，经去重、专家检查和多样性筛选得到 895 个实例，构造 18,438 对 solution comparisons，并平衡 winner 位置、过滤模糊 pair。 2. 通过生成 profiling code、sandbox execution、人工有效性检查及 LLM verbalization 制作 Verified Data Analysis Report；预测器据此输出 reasoning、winner 与 confidence，无需对每个候选先进行完整训练。 3. 基于 AIDE 修改 Improvement 阶段：并行生成 10 个 candidates，使用 confidence gate 0.7 的 pairwise selection，最终对 Top-1 执行真实验证，将结果反馈给搜索树。 4. 在 5 个 AI4Science tasks、12 小时预算下与 AIDE 比较 Beat Ratio、收敛时间和搜索节点数；报告的 acceleration 属于该实验配置，不能把这一 inference-time filter 描述为已经训练出的通用 execution simulator。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.182.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.182.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.182.pdf#page=4) · [PDF p. 7](https://aclanthology.org/2026.acl-long.182.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.182.pdf#page=8) 核读章节：Preference Corpus Curation · Verified Data Analysis Report · Agent Integration: FOREAGENT 核读数据构建与 Predict-then-Verify 实现；保留真实 execution 和人工 report verification 成本，不采纳经验准确率构成普遍理论上界的强解释。 ### DPEPO: Diverse Parallel Exploration Policy Optimization for LLM-based Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2151/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e245/) #### Idea DPEPO 让一个 LLM agent 同时控制多个从相同初始状态出发的 environment copies，并共享各分支 observation。Policy 每轮决定在哪些副本采取什么 action，通过成功 reward 与跨时间、跨分支的 diversity signals 学习协调探索。 #### Research Problem Sequential ReAct 每步只能看到一条路径的反馈，独立多次 rollout 又无法即时利用彼此经验，容易重复同一失败路线。论文研究如何把并行探索直接纳入 agent action space，并让 RL 鼓励有区分度的行为，而不是把多个环境当作重复采样。 #### Insight Parallelism 的价值来自互补信息而非副本数量本身：重复 action 或重复 state–action pair 会消耗探索机会。DPEPO 用 repetition-based reward 调整成功与失败轨迹中各步的训练权重；这种 novelty proxy 不是严格 information gain，也依赖可复制并行环境。 #### Method 1. 为同一 task 初始化 K 个 environment copies；每轮 agent 选择任意 subset，联合生成带 environment ID 的 actions，执行后把各副本 states 放入共享 trajectory，任一分支达到 goal 即视为整体成功。 2. 以少量人工 parallel trajectories 为示例，让 teacher 扩增训练轨迹，先用 SFT 学会多环境结构化输出与基础探索，再进行 RL。 3. Diverse Action Reward 按单环境历史与同轮分支间的 action repetitions 折扣；Diverse State Transition Reward 则对文中定义的 state→action pair 在本地及其他分支历史中的重复折扣，两者平均得到 step reward。 4. 先计算 group-normalized trajectory advantage；成功方向乘 step reward，失败方向乘 2−step reward，再用 GRPO-style clipped objective 更新。实验主要使用 4 个并行环境，在 ALFWorld 与 ScienceWorld 比较成功率和成本。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2151.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2151.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2151.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2151.pdf#page=5) 核读章节：Parallel Agent Exploration Formulation · Parallel Exploration Capability Cold Start · Parallel Step-level Rewards · Policy Optimization 核读并行 action space 与 Eq. 2–9；state transition 在该文实际定义为 state–action pair，且任务成功采用任一环境成功的口径。 ### Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.318/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e30/) #### Idea STEP-HRL 用 high-level subtask policy、low-level action policy 与 local-progress policy 共同替代不断增长的完整历史。已完成 subtasks 表示 global progress，迭代摘要表示当前 subtask 的 local progress，从而把训练与推理组织为 augmented step-level transitions。 #### Research Problem 长 interaction history 增加 agent 的 token cost，并使训练难以按单步 transition 复用经验；只做 hierarchical decomposition 又可能丢失 subtask 内关键进展。论文研究如何保留足够的全局与局部状态，让 policy 在紧凑输入下完成长任务并进行 offline RL。 #### Insight 高层已完成任务列表与低层 progress summary 分别承担不同记忆功能，两者结合可减少对完整轨迹的依赖。这里的 single-step 指输入由压缩状态与当前 observation 组成，而非无记忆或严格恢复 Markov property；summary quality 仍会影响后续决策。 #### Method 1. Local-progress policy 根据当前 subtask、上一步 action、最新 observation 和旧 summary 更新 progress；low-level policy 使用 subtask、progress 和当前 observation 生成 primitive action。 2. Subtask 结束后把 final local progress 交给 high-level policy，结合原任务、completed subtasks 与下一状态生成新 subtask；三个 policies 共享参数，以不同输入和目标实现角色分工。 3. 从 expert trajectories 合成 subtask/progress annotations，分别建立三种 input-target datasets 做 behavior cloning，再用初始化后的 policies 收集额外 transitions，与 expert data 混合用于 offline RL。 4. 每种 policy 配独立 critic，以 utterance-level Q/V heads、TD regression 和 expectile value learning 学习单步价值，再用 exp(advantage/temperature) 加权的 log-likelihood 更新共享 actor；在 ScienceWorld、ALFWorld 检查表现与 token usage。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.318.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.318.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.318.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.318.pdf#page=5) 核读章节：STEP-HRL Pipeline · Behavior Cloning · Step-Level Offline RL · Experimental Settings 核读三 policy 输入、共享 actor/独立 critics 与 IQL-style offline objective；不是使用 terminal-only GRPO 的训练方案。 ### Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1743/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e206/) #### Idea TraitBasis 用 activation steering 控制 user simulator 的 impatience、skepticism、confusion、incoherence 等 traits，并将其强度与组合系统化，用于测试 conversational agent 在相同任务目标、不同交互行为下的稳健性。τ-Trait 将这种用户变化接入工具执行场景，检查任务成功率如何变化。 #### Research Problem 常规 tool-use benchmark 的 simulated users 往往风格稳定、配合度高，难以暴露 agent 面对急躁、怀疑或表述混乱时的失败。仅在 system prompt 中描述 persona，又可能随多轮对话衰减。研究问题是如何以较少示例构建可调强度、可组合且持续的用户行为扰动，并评价其 realism。 #### Insight 作者假设预训练表示已包含 interaction style，少量 contrastive examples 可以隔离相应方向，无需重新训练用户模型。将 task intent 与 trait 强度分开控制，有助于把 agent 性能下降归因于用户行为变化；但模拟 realism 与真实用户分布的代表性仍是两件不同的事。 #### Method 1. 针对同一 context 构建只在目标 trait 强度上不同的 response pairs，对每层 token hidden states 求均值，再对 positive–negative 差分取平均；实验采用每个 trait 4 对 exemplars 提取 direction。 2. 对各候选层生成 10-turn conversations，由 5 位 annotators 选择 steering 最清晰的层；把不同 trait directions 组成 TraitBasis，以 intensity 系数缩放、组合并加到对应层的 hidden states。 3. 使用 Llama-3.1-8B 作为 user simulator，不更新其参数；在相同 intent、background 与 assistant role 下与 prompting、SFT、LoRA 对比 realism、fidelity、stability 和 compositionality。 4. 将 trait-controlled users 用于 τ-Trait 的多领域交互测试，以工具任务成功率衡量 assistant robustness；human 与 LLM judge 同时评价生成用户行为，避免仅凭 agent success 反推模拟一定真实。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1743.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1743.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1743.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1743.pdf#page=5) 核读章节：TraitBasis §3.1–3.2 · Experiments §4.1–4.2 核读 contrastive activation extraction、layer selection、intensity composition 与实验协议；无需 fine-tuning 不代表无需 exemplars 或人工校准。 ### Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2192/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e247/) #### Idea 这篇工作审计 LLM-simulated users 是否能替代真实用户评价 tool-use agents：固定 agent，分别改变 user model，并让不同地区与语言背景的人完成相同 retail tasks，比较 success rate、simulation–human calibration 和交互失败模式。贡献是一套实证评估，而非新的 agent training algorithm。 #### Research Problem 许多 agent benchmark 把单个 LLM user 当作稳定环境，却没有验证其任务完成难度、对话行为和人口群体代表性。论文研究 user simulator 的选择是否改变结论，以及模拟中的好成绩能否预测真实用户交互下的表现，特别是不同 dialect 与年龄群体的差异。 #### Insight User simulator 是影响 evaluation 的组成部分，而非中性接口；相同 agent 在不同 user models 下可出现不同成功率，模拟还可能在不同难度题上分别高估或低估真实表现。观察到的群体差异说明该协议的适用性问题，不能归结为某类真实用户的固有能力差异。 #### Method 1. 在 τ-Bench retail 域固定 GPT-4o 为 assistant，先用 5 次 GPT-4o user–agent runs 形成 6 档任务难度，再每档选 3 题，得到 18 题 difficulty-balanced human-study subset。 2. 从美国、印度、肯尼亚和尼日利亚招募英语使用者，每人随机完成 4 题，其中两题较难、两题较易；美国样本进一步按自报 dialect 与年龄分组，其他国家受招募条件限制主要为 18–34 岁。 3. 对 human 与 simulated conversations 使用相同的 benchmark state checks 和信息 substring checks；以各难度档 human completion 数作权重，计算 simulated 与 human success rate 的平均绝对差，即文中的 ECEHuman–LLM。 4. Robustness 分析在全 115 retail tasks 上替换多种 user LLM，validity/fairness 分析使用 18 题真人子集，并结合分组统计与 GEE 控制部分协变量；两种样本协议及 ECE 的定义必须分开理解。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2192.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2192.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2192.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2192.pdf#page=5) 核读章节：Benchmark Adaptation · User Study · Evaluation Metrics · Robustness · Validity · Fairness 核读真人研究抽样、固定 agent 与 ECE 定义；该 ECE 衡量两种用户条件下 success-rate mismatch，不是模型输出 confidence 的常规 calibration。 ### Mixture-of-Minds: Multi-Agent Reinforcement Learning for Table Understanding ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.112/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e15/) #### Idea Mixture-of-Minds 将 table reasoning 分为 Planning、Coding、Answering 三种 agent roles，通过真实 code execution 得到可核对的 intermediate tables，再进行答案生成。训练使用分支 rollouts 找到成功路径，为缺少人工标注的 plans 和 code 构造 pseudo-gold supervision，逐角色执行 GRPO。 #### Research Problem 纯语言 table reasoning 容易算错和 hallucinate，直接 tool-based processing 又缺乏语义规划；分成多个 agents 后，现有数据通常只有 final answer，没有中间 plan/code labels。论文研究如何同时获得精确计算、语义判断与可训练的中间监督。 #### Insight 最终正确答案可以用来反向选择有用的 plan/code candidates，再分别改进各阶段。但成功路径中的中间内容仍只是 pseudo-gold，不能保证每一步都唯一正确；paper 所称 MCTS-style 主要体现分层 branching 与成功回溯，不应自动补充未描述的 UCT search 算法。 #### Method 1. Planning agent 生成带 tags 的 plan；Coding agent 据 question、table、plan 生成 Python 并执行，得到一组 intermediate table representations；Answering agent 结合 question、plan 与这些执行结果回答。 2. 按 plan→code→answer 层次分别采样 α、β、γ 个 candidates，执行代码并对照 final ground truth；只要某条下游 answer 正确，就把对应 plan/code 选作 pseudo-gold 中间监督。 3. 先训练 Planning，reward 为 format 与 pseudo-gold plan BLEU；再用已训练 planner 生成 Coding 训练数据，reward 结合 code format、execution success、Pandas-operation F1 与 output BLEU。 4. 最后在已改进的 plan/code 条件下训练 Answering，采用 format 与 exact-match reward；各阶段使用 GRPO，按先 plan、再 code、后 answer 的顺序更新，评价 TableBench 与 FinQA 的 table reasoning。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.112.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.112.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.112.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.112.pdf#page=5) 核读章节：Agents Workflow · MCTS-style Data Generation · Agent Training with GRPO · Experimental Setup 核读 stage-wise training 与实际 reward 权重构成；BLEU/operation similarity 是中间代理指标，不等价于对 plan/code 语义正确性的证明。 ### Mock Worlds, Real Skills: Building Small Agentic Language Models with Synthetic Tasks, Simulated Environments, and Rubric-Based Rewards ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.570/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a30/) #### Idea SynthAgent 同时合成 tool-use tasks、专属 virtual APIs、mock users 和 mock tools，再从 workflow 与 teacher demonstrations 中提取 task-level rubrics，供小模型进行 agentic RL。任务刻意保留信息缺口，使 agent 必须主动向用户 clarification，而不是照着完整指令机械调用工具。 #### Research Problem 现有开放训练集的工具和任务过于单一、容易饱和，真实 API 又成本高且不稳定；直接用 LLM 模拟工具则可能让同一调用在不同 rollout 中得到冲突结果。论文研究如何构建既有探索难度、又具备足够一致反馈与可计算 reward 的规模化 synthetic training environment。 #### Insight 有效 agentic RL 需要有区分度的成功与失败，而不仅是大量轨迹。隐藏关键用户信息能制造有意义的决策分支；固定 task-level tool-response memory 则降低环境噪声。这里的一致性由 LLM 参考调用映射实现，不能等同于具备完整 state transition semantics 的真实程序模拟器。 #### Method 1. 从 Persona Hub 的身份与情境出发，生成 high-level workflow、专属 tool descriptions/API specifications 和 forbidden behaviors；将过于明确的任务改写成 fuzzy instruction，把决定性信息移入仅 mock user 可见的 context。 2. 注册虚拟 tool suite，由 LLM 分别模拟用户回答和工具结果。维护每个 task 的有限 mapping，将 tool name、arguments 与 response 配对；后续调用由 simulator 检查 semantic equivalence，参考既有条目保持一致。 3. 采样多条 teacher trajectories，对照原 workflow 提取可由不同路径完成的 subgoals、required user interactions；若 workflow 步骤未被覆盖则过滤任务，再结合 forbidden constraints 形成 rubrics。 4. LLM judge 按 rubric 计算完成的 subgoal fraction 与 user-interaction fraction，二者平均作为 reward；一旦违反 forbidden behavior 则归零。最终训练还加入经 persona 场景化改写的 search/math tasks，以补充 reasoning 能力。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.570.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.570.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.570.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.570.pdf#page=5) 核读章节：Synthetic Tool-Use Task Generation · Mock Environments · Automatic Rubric-Based Rewards · Final RL Training 核读数据、mock environment 与 reward 机制；finite mapping 由 LLM 在 prompt 中匹配，不是执行真实 API，也不是严格证明的 simulator fidelity。 ### NeoAMT: Neologism-Aware Agentic Machine Translation with Reinforcement Learning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.345/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e32/) #### Idea NeoAMT 把 neologism-aware translation 做成可主动查词的 agentic process：模型先 reasoning，再按需检索 Wiktionary definitions，结合词义修订译文。配套 Neko 数据、专门的 neologism reward 与 difficulty-adaptive rollout allocation，使训练关注新词而不牺牲整句语义。 #### Research Problem Neologisms 的含义可能与字面形式完全不同，parametric knowledge 不足时普通 MT 容易给出流畅但错误的译文；只看整句 quality score 又可能掩盖少数关键新词的误译。论文研究怎样训练 translation agent 有效调用词典，并把更多 RL exploration 分配给真正困难的 source texts。 #### Insight 词典应检索完整 sense、etymology 与 part-of-speech，而不仅是 headword；reward 也需要同时约束 neologism span 和整句 semantic fidelity。论文以相对 quality-estimation gap 定义 difficulty，使 reference quality 不再被默认为生成译文不可超过的上限。 #### Method 1. 清洗 English Wiktionary，建立跨语言 neologism examples 与 references，并把约 331 万 lexical entries 的 definitions、senses、etymology 等编码为 bge-m3 vectors，通过 FAISS 检索相关词义。 2. Agent 可交替输出 <think> 与 <search>，检索结果置于 <information>，最终输出 <translation>；search query 可以是未知词、相关关键词或例句，不强制固定搜索次数。 3. Outcome reward 将 lemmatized neologism-span coverage 与 XCOMET、CometKiwi scores 混合，并以 translation-format gate 约束；另探索 query 是否覆盖目标 neologism 的 process reward，而不是把查询命中等同于翻译正确。 4. 以 CometKiwi 对 reference 与当前译文评分之差定义 translation difficulty，按差值指数调整每题 rollout group size，在 batch 总预算与上下限内分配；采用 GRPO，loss 仅覆盖模型生成 token，mask retrieved information。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.345.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.345.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.345.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.345.pdf#page=5) 核读章节：Search Toolkit · Reward Design · Adaptive Sampling based on Translation Difficulty · Policy Optimization 核读 dictionary retrieval、outcome/process rewards 和 adaptive sampling；reference-free evaluation 与带 reference 的训练奖励不可混为一谈。 ### ReCreate: Reasoning and Creating Domain Agents Driven by Experience ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1432/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e175/) #### Idea ReCreate 让一个 agent-as-optimizer 阅读 task agent 的 trajectories、execution logs 与 evaluation results，再修改其 scaffold 中的 roles、workflow、tools 和 memory。它先针对单例提出带证据的改动，再跨实例提炼 domain-level patterns，自动构建 specialized domain agent。 #### Research Problem 自动 agent generation 若只看最终 score，缺少失败发生在哪里、为什么发生的线索，往往需要大量盲目尝试；逐例修补又容易 overfit。论文研究如何把长交互经验转成可定位、可操作且能跨任务复用的 scaffold changes。 #### Insight Agent 的能力缺口不一定来自 base model 参数，也可能是 workflow 顺序、缺失规则或重复易错操作。执行经验能指导选择应改 prompt、tool 还是 memory；跨实例汇总则帮助分离偶然错误与领域规律。这是 scaffold optimization，不是对 LLM weights 做 RL 更新。 #### Method 1. 以内外两层组织流程：inner loop 运行当前 scaffold 完成可验证任务，收集完整体验；outer loop 根据 trajectory、execution artifact 与 verifier feedback 更新 scaffold，迭代改进领域表现。 2. 把每次 episode 存为可交互 inspection environment，包含 scaffold、日志、代码库/数据库状态等；evidence retriever 索引 errors、failing tests、file operations，使 optimizer 可按需回查关键上下文。 3. Reasoning–Creating pipeline 先诊断成功/失败，再经 creation router 选择具体 scaffold component，通过编辑接口新增规则、调整流程、创建脚本工具或修改 memory mechanism。 4. Instance-level update 先生成 candidate change 与 justification 并缓存；domain-level update 跨多例提炼 reusable patterns 后整合，训练/开发 tasks 与最终 test split 分开，减轻只为某个失败实例定制的风险。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1432.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1432.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1432.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1432.pdf#page=5) 核读章节：Domain Agent Creation Problem · Problem Formulation · The ReCreate Framework · The Agent-as-optimizer Design · Algorithm 1 核读 experience inspection、creation router 与 local-to-domain buffering；bi-level formulation 在实践中由迭代 scaffold edits 近似，不是精确求解双层优化。 ### Reinforcement Learning for Self-Improving Agent with Skill Library ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.69/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e11/) #### Idea SAGE 将 Skill Library 的生成与复用纳入同一次 RL rollout：agent 连续解决相似任务，第一题产生的 executable function 可被第二题使用，后续成功复用的收益再奖励前面的 skill generation。目标是让 agent 学会在部署过程中积累可执行技能，而不仅依赖 prompt 提醒保存经验。 #### Research Problem 单任务 outcome reward 看不到一个 skill 对未来任务的价值；在任务结束后额外总结 skill 又延长 context，并将生成与使用分离。研究问题是如何把跨任务复用带来的 delayed benefit 转化为训练信号，同时约束 agent 生成可运行、可更新的函数技能。 #### Insight Skill 的价值应通过后续任务中的成功使用检验。将相似任务串成短链，可以让训练直接覆盖生成、保存、检索和复用的闭环；但本文主要采用两任务链，因此其 continual improvement 证据集中在受控的相似任务迁移，不能推出无限期开放环境中的稳定学习。 #### Method 1. Agent 以定义函数后调用的格式解决任务，将无执行错误的新函数保存到 library；支持 Skill Usage、Generation、Update、Save，也允许不值得封装时直接 API call。已有 skill subset 会先加入当前任务 context。 2. Sequential Rollout 为每组采样两道相似任务，第一题以空 library 开始，第二题继承该条 rollout 生成的 skills；不同 group member 因探索不同而拥有不同的第二题 library。 3. Skill-integrated Reward 在 outcome reward 上增加成功复用 bonus：第一题 bonus 要求两题均成功且第二题使用第一题技能，第二题 bonus 要求自身成功且发生复用；无代码并终止的输出另罚 -1。 4. 基于 GRPO 更新，但实际 SAGE 去掉 KL penalty 和 reward standard-deviation normalization，仅减 group mean，并 mask environment observations；在 AppWorld 用 TGC、SGC 和交互成本评价单任务完成与相似任务整组成功。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.69.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.69.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.69.pdf#page=5) 核读章节：Skill Library Agent · Sequential Rollout · Skill-integrated Reward · SAGE · Experimental Settings 核读实际奖励条件与优化公式；特别区分 GRPO preliminary 和去 KL、去标准差归一化的 SAGE 实现。 ### STAPO: Selective Trajectory-Aware Policy Optimization for LLM Agent Training ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1308/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e160/) #### Idea STAPO 先在相同 anchor state 的 actions 中对 entropy 做 normalization，定位异常步骤，再选择性地奖励 policy 对 task goal 与 history 的依赖，并限制 trajectory-blind policy 的漂移。其目标是缓解 long-horizon agent 在中途忽视既有轨迹的 trajectory neglect。 #### Research Problem Sparse terminal reward 很难指出哪一步忽略了目标或历史，raw entropy 又同时反映 state complexity 与 model confidence，容易把正常困难状态当作错误。论文研究如何构建更可比较的 outlier signal，并只对相关步骤增加 trajectory-aware optimization，避免全局约束破坏正常决策。 #### Insight 同一 state 内的相对 confidence 比跨 state 的绝对 entropy 更有解释力；但单纯最大化 full-context 与 masked-context distributions 的差异，可能通过恶化 masked policy 获利。因此作者同时约束 masked policy 接近 reference。Entropy outlier 与 neglect 的联系属于经验 proxy，而非逐步错误的完美标签。 #### Method 1. 将跨 rollouts 的 observations 按 exact-match 或 semantic similarity 分配到唯一 anchor-state group；计算每个 action 的 token-average entropy，再以该 state group 的均值和标准差转成 normalized entropy。 2. 对当前 batch 的 normalized entropy 使用 IQR interval 标记异常值，包含高低两侧 outliers；只有这些步骤开启 selective module，其他步骤仍执行基础 policy optimization。 3. 删去 goal 与 history 得到 trajectory-blind prompt；Trajectory-Aware Reward 最大化 full/masked policy 的 KL difference，Trajectory-Independent Penalty 则最小化 masked current/reference policy 的 KL，抑制通过破坏 masked behavior 获得奖励。 4. 基础 objective 结合 episode-level reward advantage 与同 anchor state 的 step-level return advantage，并使用 clipped policy update 与全局 KL regularization；selective terms 按 outlier mask 加入，在 ALFWorld、WebShop 和 search QA 中检验。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1308.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1308.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1308.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1308.pdf#page=5) 核读章节：Outlier Localization · Characterization of Outliers · Selective Optimization · STAPO Objective 核读 state normalization、双侧 IQR mask 与两个不同 KL 项；不把 distribution dependence 自动等同于正确因果推理。 ### Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1104/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e129/) #### Idea ReTAS 通过 Thesis–Antithesis–Synthesis 训练 agent 在失败诊断时先表达角色视角，再检查反面证据，最后输出 attribution 与 corrective action。目标是减少同一轨迹仅因 Actor/Observer prompt 不同而产生的归因翻转，并提高后续 Search、Revise、Confirm 决策质量。 #### Research Problem Self-reflection 与 mutual auditing 并不天然客观：actor 可能把失败归为外部条件，observer 则偏向内部执行错误。论文研究这种 perspective-induced inconsistency 能否被测量，并通过有可验证 evidence sufficiency 的训练任务，使诊断更依赖证据而非角色立场。 #### Insight Consistency 与 correctness 必须分开检验：在刻意模糊、没有确定 ground truth 的场景中只能测 perspective flip；训练正确归因则需要可检查的 evidence/answer conditions。对立视角的合成能作为学习支架，但其效果是任务中的经验发现，不代表模型具有人的心理动机。 #### Method 1. 构建 200 条 Ambiguous Failure Benchmark traces，对同一内容分别施加 Actor 与 Observer role prompts，强制选择 internal/external attribution，并统计 Vanilla AOA、Reverse AOA 与总 Flip。 2. 基于 FinQA 和 Spider 建立 retrieval→program synthesis 流程；gold evidence 不完整标 FalseExt，evidence 完整但 answer 错标 FalseInt，两者均满足标 True，形成具有操作性标签的训练数据。 3. Teacher 为每题生成 Defensive Actor 与 Critical Reviewer 两种 TAS trajectories，要求经 evidence verification 后收敛到相同 attribution，并输出 Search、Revise 或 Confirm action。 4. 先 SFT 学习 TAS format，再用 GRPO 组合 format reward、attribution-label reward 与 answer correctness reward；分别在两种任务上训练与评价，同时检查归因一致性和实际故障修复，而非只优化文本上的双视角一致。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1104.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1104.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1104.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1104.pdf#page=5) 核读章节：Preliminary Study · Task Settings · Attribution Data Generation · Dialectical Synthesis · Dialectical Alignment 核读无确定标签的 AFB 与有 gold-evidence 标签的 TAS datasets；FalseExt 的定义依赖指定证据集合，不外推为所有替代证据路径都不存在。 ### Timely Machine: Awareness of Time Makes Test-Time Scaling Agentic ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.211/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a4/) #### Idea Timely Machine 用 wall-clock time 重新定义 agentic test-time scaling，让 agent 根据剩余时间与实际 tool latency 调整 reasoning 和 interaction。论文同时提出 Timely-Eval 与 Timely-RL：前者覆盖不同 latency regime，后者通过 time-aware demonstrations 和 reward 学习在 deadline 内分配计算。 #### Research Problem 当 agent 调用训练模型等慢工具时，generated token 数与总完成时间脱钩，固定 token budget 无法表达真实成本；当前模型即便知道 deadline，也未必相应改变策略。论文要回答在不同工具延迟下，应增加交互轮数还是提高单轮质量，以及能否把这种 time awareness 学进 policy。 #### Insight 小模型的快 inference 只有在工具反馈足够快时才能换来更多探索；tool latency 占主导时，模型之间可执行轮数接近，单轮决策质量变得更关键。作者因此把 inference time 与 tool execution time 共同作为状态反馈，而不是假定更长 reasoning 一定对应更有效的时间投入。 #### Method 1. Timely-Eval 包含可人为设置 action delay 的 Jericho text games、由训练执行主导的 MLEBench-Lite tasks，以及配 timer tool 的 general reasoning；先估计平均 latency，再用其倍数设定时间预算。 2. Cold start 蒸馏不同 time budget 下的 reasoning traces 和前 50 步 game interactions，并混合 DataScience-Instruct 数据做 SFT；限制 game demonstration 长度，以让后续探索仍需策略学习。 3. RL 每轮反馈 inference time 与 tool execution time，并缩放 inference time 模拟不同设备速度；模型据此调整 reasoning、tool call 与终止时机。 4. 超时 reward 为 0，按时但错误只得固定 format/timeliness reward；按时且正确再得 accuracy 与正弦形式的 time-utilization bonus。该 bonus 随已用时间占比上升，鼓励有效使用预算，不能误写成对更短 latency 的直接奖励。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.211.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.211.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.211.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.211.pdf#page=5) 核读章节：Test-Time Scaling in Agentic Scenarios · Timely-Eval · Timely Cold Start · Timely-RL 核读 latency decomposition 与 Eq. 9–10；准确保留 time utilization reward 的方向，性能与模型大小的关系限于论文硬件及任务设定。 ### Towards Robust Real-World Spreadsheet Understanding with Multi-Agent Multi-Format Reasoning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.86/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e14/) #### Idea SpreadsheetAgent 先用 incremental extraction–verification loop 理解 spreadsheet 的结构，再把 verified YAML representation 交给下游 task solver。Extraction agent 可调用 Python、Vision Range Agent 与 LaTeX Range Agent，从局部数值、视觉样式和结构表示中互补获取信息。 #### Research Problem 真实 spreadsheet 包含 merged cells、hierarchical headers、颜色和区域布局，平铺成文本会丢失解释单元格所需的语义；整表直接输入又容易超过 context budget。论文研究如何逐区域建立可靠 intermediate representation，并在错误结构进入最终 reasoning 前加以发现和修正。 #### Insight 理解一张表不必一次读完，也不必仅依靠单一表示。Code 适合值与计算，image 适合布局和样式，LaTeX 适合显式 row/column spans；独立 verification 可以针对不确定区域补查。但 verification 仍由模型执行，不构成形式化的正确性证明。 #### Method 1. Extraction agent 按结构化 prompt 检查 hierarchical headers、sectioning、merged cells 和 formatting semantics，逐步输出 YAML schema，并将 layout 与 row/column meaning 绑定。 2. 通过 Python 执行读取与计算；针对选定 cell range 渲染 image 交给 VLM，或转换为 LaTeX table 交给 LLM，以问答方式提取文本 serialization 难以表达的局部信息。 3. Vision 与 LaTeX verification 分别对照原 spreadsheet 和 YAML，选择复杂或不确定的区域继续检查；Algorithm 1 要求两者均通过才接受，否则把 correction feedback 送回 extraction，直至通过或达到 iteration cap。 4. 将最终结构描述注入 downstream task context；在 SpreadsheetBench 与 RealHiTBench 评价 irregular layout 和 hierarchical headers 的处理效果。部分 baseline 成绩引用既有论文，不能把所有比较都描述为完全相同工具与运行预算下的重新实测。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.86.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.86.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.86.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.86.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.86.pdf#page=6) 核读章节：Extraction Module · Verification Module · Discussion · Algorithm 1 · Experimental Setup 核读三类工具、双 verification pass 条件与实验来源；模型检查可降低错误传播，但 verified 不表示确定性证明。 ### Value of Information: A Framework for Human–Agent Communication ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1987/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e228/) #### Idea 论文用 Value of Information（VoI）决定 agent 应继续 clarification 还是直接 commit：估计一个问题可能带来的 expected decision utility 增益，再扣除 communication cost；只有净收益为正时才询问用户，否则执行当前 belief 下最优 action。 #### Research Problem 用户请求经常 underspecified，固定问几轮或依 confidence threshold 停止，都难以适应不同决策 stakes、属性重要性和用户打扰成本。研究问题是如何把“是否值得问”直接与 downstream action utility 联系起来，使同样的不确定性在不同任务中产生不同沟通策略。 #### Insight 降低 uncertainty 不一定改善决策，值得询问的是可能改变最佳 action 或减少高成本错误的信息。该方法无需逐任务调 confidence threshold，但仍需要明确定义 latent intent space、utility、question cost 与候选问题；正文的 parameter-free 不应理解为无任何任务设定或模型估计。 #### Method 1. 维护 latent user intents 的 belief distribution，以各 intent 下 action utility 的加权期望选择当前最佳 action，得到立即 commit 的价值 V(b)。Belief 由 LLM 显式输出概率近似。 2. 生成少量 targeted closed-ended questions，将答案限制为 Yes/No 或 multiple choice；对各 hypothesis 模拟 response likelihood，并对假设答案重新估计 posterior belief，计算 one-step lookahead expected value。 3. 对每个问题计算 expected posterior best-action utility 减 current utility 再减 question cost，选择最大正值问题；收到真实回复后更新 belief 并重复，若无正净收益或达到 clarification budget 则终止。 4. 在 animal guessing、模拟 medical diagnosis、flight preference 与 ambiguous WebShop 中比较 fixed-round、adaptive prompting 和 confidence-threshold baselines，以 utility–cost trade-off 评价。单步 lookahead 与 LLM probability estimates 使其不具备全局最优沟通保证。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1987.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1987.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1987.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1987.pdf#page=6) 核读章节：Value of Information Framework · Instantiation with LLMs · Tasks and Models · Algorithm 1 核读 expected utility、finite answer space、LLM belief approximation 与 stopping rule；medical setting 是论文受控任务，不作为临床使用验证。 ### When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.478/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a23/) #### Idea 论文用 Response Pattern Similarity（RPS）与 Action Graph Similarity（AGS）分别描述 agent 的语言习惯和工具使用习惯，重点比较完成同一任务时的可选行为。通过 stage-aligned text comparison 与 tool-call graph features，分析 distillation 后的 behavioral convergence。 #### Research Problem 成功解决同一工具任务本就需要调用部分相同 API，直接比较文本或全图结构会把任务约束带来的相似误判为模型模仿；轨迹长度不同也使 turn-by-turn alignment 失真。研究问题是如何提取任务成功所不强制要求的行为模式，并区分能力提升与 teacher-specific convergence。 #### Insight Mandatory actions 与 autonomous preferences 应分开分析，语言风格和工具依赖结构也提供不同维度的证据。控制实验可以测试 distillation 是否提高对 teacher 的相似度，但公开模型之间的高 RPS/AGS 只说明行为相近，不能独立证明其训练来源或存在 distillation。 #### Method 1. 将 trajectory messages 标注为 Authentication、Elicitation、Execution、Verification、Notification 五类 stage；RPS 仅比较两模型共享的 stages，由 LLM judge 评分 Style、Structure、Alignment 及 Overall，再聚合 Overall。 2. 构建 Action Flow Graph：node 记录 tool name、args、result；相邻调用形成 sequential edge，后续参数使用前面输出形成 dependency edge，字符串重叠候选需经 LLM 验证；已存在 dependency 时省去重复 sequential edge。 3. 把同任务成功轨迹的 tool-set intersection 视为 mandatory tools，对其余 optional tools 计算使用/跳过 agreement；再以局部调用习惯与 output reuse、dependency-chain、fan-out 等 feature vectors 的 cosine similarity 形成 AGS 子指标。 4. 在 τ-Bench、τ²-Bench 比较多模型，并用受控 LoRA distillation 与 non-teacher control 检验 teacher-specific shift；分别分析 both-correct、both-wrong、mixed outcomes，减少共同成功路径对结论的混淆。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.478.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.478.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.478.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.478.pdf#page=5) · [PDF p. 8](https://aclanthology.org/2026.acl-long.478.pdf#page=8) 核读章节：Trajectory Representation · Response Pattern Similarity · Action Graph Similarity · Experiments · Controlled Distillation Analysis 核读 stage alignment、graph construction、optional-tool 定义与控制实验；mandatory tool 为样本内交集近似，跨厂商行为相似不构成训练来源证明。 ## 02 · 多模态感知与创作 81 篇 · CVPR 59 · ACL 22 ### AeroAgent: A Vision-Physics-Decision Framework for Aerodynamic Vehicle Design CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Liu_AeroAgent_A_Vision-Physics-Decision_Framework_for_Aerodynamic_Vehicle_Design_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c8/) #### Idea AeroAgent 将 text / image-to-3D、aerodynamic surrogate 与 design planner 接成 propose–evaluate–refine loop。所有模块围绕统一、可编辑的 vehicle surface representation 工作，在有限 high-fidelity CFD budget 内筛选同时满足外形意图与 aerodynamic requirements 的候选。 #### Research Problem 生成漂亮的 3D vehicle 不代表能完成工程设计：shape edits 必须同时满足尺寸、style 与 drag 约束，而逐个候选运行 high-fidelity CFD 成本高。不同模块若使用不一致的 geometry representation，还会增加 normalization、编辑和 physics evaluation 的衔接误差。 #### Insight 快速探索与最终确认可以采用不同 fidelity：用 geometry-aware surrogate 支持大量 inner-loop edits，只把收敛后的少量 top candidates 交给 CFD。将 constraints 写成明确的 feasibility tests，并记录 mesh transformations，可使自然语言设计要求进入可追踪的优化流程；surrogate prediction 仍需最终确认。 #### Method 1. Vision module 解析 design intent、规范图像输入，使用 image-to-3D 生成 STL，并执行 axis alignment、unit normalization、mesh-health checks 和 class-specific size projection；局部修改采用受步长约束的 free-form deformation。 2. AeroFormer 分别编码 surface 与 volumetric points，以 geometry-conditioned cross attention 连接两类表示；通过对应 regression objectives 预测 pressure、velocity 或 drag，训练监督来自 CFD 数据。 3. Decision module 根据 size、用户要求的 drag threshold 和 aesthetics predicates 检查 feasibility，结合 prototype priors 与 physics feedback 选择 windscreen、roof、tail 等可执行 edits。 4. 循环用 surrogate 评估新候选，在收敛、无可行改进或 budget / time limit 时停止；仅对最终 top-K 设计运行 high-fidelity CFD，并保存 geometry edits、预测与配置日志。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_AeroAgent_A_Vision-Physics-Decision_Framework_for_Aerodynamic_Vehicle_Design_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_AeroAgent_A_Vision-Physics-Decision_Framework_for_Aerodynamic_Vehicle_Design_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_AeroAgent_A_Vision-Physics-Decision_Framework_for_Aerodynamic_Vehicle_Design_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_AeroAgent_A_Vision-Physics-Decision_Framework_for_Aerodynamic_Vehicle_Design_CVPR_2026_paper.pdf#page=5) 核读章节：Problem Setup · Vision: Candidate Generation and Editing · Physics: AI Surrogate · Decision: Integrated Planner 依据正文的模块与优化流程整理；这里的 feasibility 限于论文编码的约束，不解释为完整工程认证。 ### Agentic Retoucher for Text-To-Image Generation CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Shen_Agentic_Retoucher_for_Text-To-Image_Generation_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c11/) #### Idea Agentic Retoucher 将生成图像的局部修复拆成 perception–reasoning–action loop：先定位 distortion，再解释 defect 类型与上下文原因，最后选择合适的 local editing tool。修复结果重新进入 perception，逐步处理局部问题，减少整图 re-generation 带来的 semantic drift。 #### Research Problem T2I 模型仍容易生成异常手指、面部、文字与交互关系。这些 artifact 往往面积小且依赖上下文，普通 VLM 的 spatial grounding 不足，既可能漏检，也可能对正常区域做不必要修改；没有精确 mask 与 diagnosis，inpainting 难以兼顾局部纠错和原图内容保留。 #### Insight 是否存在 distortion、它是什么问题、如何修复，是相互依赖但不同的决策。Context-aware saliency 提供空间依据，human-aligned diagnosis 将区域转成可执行编辑需求，Action Agent 再选择工具；因此增强局部证据与诊断监督，比仅让通用 VLM 反复评价整张图更有针对性。 #### Method 1. 构建 GenBlemish-27K，为生成图像中的 artifact regions 提供 category、mask 与自然语言描述，经多位 annotators 和 expert validation 支持 localization 与 diagnosis 训练。 2. Perception Agent 用 ViT–T5 双 encoder 融合 image 与 prompt features，预测 distortion-saliency map；以 MSE 与 KLD 组合训练，再经 thresholding 和 dilation 得到 mask candidates。 3. Reasoning Agent 先以 LoRA SFT 学习 taxonomy 和结构化描述，再用 GRPO 结合 distortion classification accuracy 与描述对 human labels 的 semantic alignment，改善 region-level diagnosis。 4. Action Agent 根据 masks、descriptions、计算约束与用户偏好，在 VLM-based editing 和 mask-guided inpainting 工具中选择操作；更新图像后重新检测，形成迭代修复过程。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Shen_Agentic_Retoucher_for_Text-To-Image_Generation_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Shen_Agentic_Retoucher_for_Text-To-Image_Generation_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Shen_Agentic_Retoucher_for_Text-To-Image_Generation_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Shen_Agentic_Retoucher_for_Text-To-Image_Generation_CVPR_2026_paper.pdf#page=5) 核读章节：Dataset: GenBlemish-27K · Context-Aware Perceptual Distortion Analysis · Human-Aligned Reasoning and Adaptive Action 依据正文的三个 Agent、数据与训练目标整理；未将 saliency-based stopping 解释为所有 distortion 已被完美消除。 ### ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Ding_ARM-Thinker_Reinforcing_Multimodal_Generative_Reward_Models_with_Agentic_Tool_Use_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c5/) #### Idea ARM-Thinker 把 multimodal reward model 从一次性打分器改成会主动取证的 Agent。面对多个 candidate responses，它可调用 crop / zoom、document retrieval 和 instruction validators，先核对关键证据，再输出 preference judgment。 #### Research Problem Reward model 自身也会 hallucinate：候选答案仅在微小视觉细节、长文档某一页或格式约束上不同，直接看输入并比较语言流畅度很难可靠判断。已有 reward benchmarks 与训练数据缺少这种必须通过 external verification 才能区分答案的情形。 #### Insight 可靠判断不一定需要更长的自由推理，而可能需要改变可获得的 evidence。让 judge 主动放大、检索、运行 deterministic checks，可把抽象的 response comparison 变成具体事实核验；训练上先学会 valid tool use，再强调判断正确性，可以缓解早期调用能力不足导致的探索失败。 #### Method 1. 构建 think–act–observe loop，维护 texts_map 与 imgs_map 记录候选回答和视觉 artifacts；工具覆盖 image crop / zoom、按 query / index 的 document page retrieval，以及文本约束 validators。 2. 将一般 preference data 与 tool-oriented QA 数据结合，为 ground-truth response 构造有控制错误的 negative response；过滤过于简单的题目及缺乏区分度的 pairs，并筛选格式、答案和调用行为正确的 teacher trajectories。 3. 在 Qwen2.5-VL-7B 上做 SFT cold start，随后执行两阶段 GRPO：第一阶段奖励符合格式的工具探索，第二阶段将优化重点转向 final judgment correctness 与有效 tool use。 4. 用 ARMBench-VL 分别评测 fine-grained image QA、multi-page document QA 和 multimodal instruction following，检查工具支持下的 reward modeling 能力，而不只看普通 single-turn preference accuracy。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Ding_ARM-Thinker_Reinforcing_Multimodal_Generative_Reward_Models_with_Agentic_Tool_Use_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Ding_ARM-Thinker_Reinforcing_Multimodal_Generative_Reward_Models_with_Agentic_Tool_Use_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Ding_ARM-Thinker_Reinforcing_Multimodal_Generative_Reward_Models_with_Agentic_Tool_Use_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Ding_ARM-Thinker_Reinforcing_Multimodal_Generative_Reward_Models_with_Agentic_Tool_Use_CVPR_2026_paper.pdf#page=5) 核读章节：Multimodal Tools Integrated Agent Loop · Data Gathering · Multi-Stage Training · ARMBench-VL 依据正文的 agent loop、preference data 与分阶段训练整理；未独立验证 reward model 的外部泛化。 ### Beyond Sequential Tools: A Unified VLM Agent System for Photographic Post-Processing via Dynamic Multi-Expert Fusion CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xiong_Beyond_Sequential_Tools_A_Unified_VLM_Agent_System_for_Photographic_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c17/) #### Idea 该方法让 VLM 诊断图像中的 mixed degradations，再把对应 expert LoRAs 按权重合并进一个 diffusion restoration backbone。Agent 的 action 从依次调用多个独立模型，变成一次组装面向当前图像的组合模型，并用统一 restoration process 同时处理多个问题。 #### Research Problem 真实照片中的 blur、noise、haze 等往往耦合出现，单项 restoration model 不擅长混合退化；sequential tool pipelines 则依赖调用顺序、累积 artifacts，且延迟高。另一方面，VLM 能描述退化程度，并不意味着它能直接给出视觉效果最好的数值 mixing weights。 #### Insight 作者提出在共享 backbone 内组合 expert updates，使不同 restoration skills 在同一模型中协作。只适配 attention 的 K / V、保留 Q，意在降低 expert fusion 的冲突；再用 human preferences 校准权重分配，把语言层面的 diagnosis 与最终 perceptual quality 联系起来。 #### Method 1. VLM 读取 degraded image 与可选 user prompt，产生更明确的 enhancement instruction，并识别所需 restoration experts 及其强度。 2. 分别在 single-task restoration data 上训练 expert LoRAs，只更新 self-attention 的 Key / Value projections，冻结 backbone 的其余参数与 Query projections。 3. 在 frozen visual features 上附加轻量 MLP，将每个 expert 的权重离散为 bins；先用 VLM heuristic weights 做 cross-entropy pretraining，再根据不同权重生成图像的人类 pairwise preferences 进行 DPO。 4. 推理时把 weighted LoRA updates 加到 Flux-Kontext 的 K / V matrices，结合原图与增强 prompt 执行统一 restoration。这里的 single-pass 指避免多个独立 restoration tools 串行处理，不等于 diffusion 仅有一个 denoising step。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiong_Beyond_Sequential_Tools_A_Unified_VLM_Agent_System_for_Photographic_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiong_Beyond_Sequential_Tools_A_Unified_VLM_Agent_System_for_Photographic_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiong_Beyond_Sequential_Tools_A_Unified_VLM_Agent_System_for_Photographic_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiong_Beyond_Sequential_Tools_A_Unified_VLM_Agent_System_for_Photographic_CVPR_2026_paper.pdf#page=5) 核读章节：Overview of the System Pipeline · Analysis and Weight Allocation · Dynamic LoRA Fusion for Multi-Expert Execution 依据正文的 composition 与 DPO 设计整理；single-pass 的术语边界为本笔记说明，正文所读部分未给出单步 diffusion 保证。 ### DiffGraph: An Automated Agent-driven Model Merging Framework for In-the-Wild Text-to-Image Generation CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Li_DiffGraph_An_Automated_Agent-driven_Model_Merging_Framework_for_In-the-Wild_Text-to-Image_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c29/) #### Idea DiffGraph 把不断增长的 T2I expert models 组织成可更新的 graph，根据用户 prompt 检索所需 experts，再激活局部 subgraph 预测 merging coefficients。它同时考虑 checkpoint experts 与 PEFT / LoRA experts，以适应不同任务所需的 expert 数量和组合。 #### Research Problem 现有 model merging 通常针对少量固定 experts，新组合往往需要重新训练或 test-time optimization。直接使用 model parameters 描述 expert 又难以应对在线模型的异构性；仅凭模型主页文字判断能力，也不足以知道多个 experts 如何组合才能产生好图像。 #### Insight Expert 的能力可以由语义描述与实际 benchmark behavior 共同表征。前者支持按需求检索，后者把不同模型放到共享的 capability space；在局部 graph 上学习组合规则，可避免让 planner 读取所有参数，也减少不相关和重复 experts 对生成质量的干扰。 #### Method 1. Graph Construction Agent 从 expert homepages 提取 capability descriptions，编码为 node features；再让各 expert 在 reference prompts 上生成图像，把多种 quality scores 存为 expert–prompt edge features，完成 node calibration。 2. Expert Selection Agent 从用户 prompt 提取总体风格与细粒度 attributes，分别检索 checkpoint 和 PEFT candidates，再由 LLM 过滤不相关或冗余模型。 3. Merging Planner 激活选中 experts 与 reference prompts 的 subgraph，并插入 user prompt node；VGAE 编码 node / edge information，预测每个 expert 的 Beta-distributed weight。 4. 仅训练轻量 VGAE，以 policy gradient 优化合并模型的 image quality；推理时采用预测分布的期望，分别归一化并合并 checkpoint parameters 与 PEFT updates，再生成图像。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_DiffGraph_An_Automated_Agent-driven_Model_Merging_Framework_for_In-the-Wild_Text-to-Image_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_DiffGraph_An_Automated_Agent-driven_Model_Merging_Framework_for_In-the-Wild_Text-to-Image_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_DiffGraph_An_Automated_Agent-driven_Model_Merging_Framework_for_In-the-Wild_Text-to-Image_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_DiffGraph_An_Automated_Agent-driven_Model_Merging_Framework_for_In-the-Wild_Text-to-Image_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_DiffGraph_An_Automated_Agent-driven_Model_Merging_Framework_for_In-the-Wild_Text-to-Image_CVPR_2026_paper.pdf#page=6) 核读章节：Universal Graph Construction · Dynamic Subgraph Activation · Training and Testing 依据正文的 graph representation、selection 和 merging 训练整理；新 expert 的加入仍需 registration 与 calibration，并非完全没有计算成本。 ### Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Janjua_Dont_Show_Pixels_Show_Cues_Unlocking_Visual_Tool_Reasoning_in_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c30/) #### Idea Perception Programs（P²）把 depth、optical flow、correspondence 等 vision tool outputs 转为统一的 language-native structured cues，再交给现成 MLLM 推理。方法无需训练或修改模型，核心改动发生在 tool-to-model interface。 #### Research Problem 即使 expert tool 已产生有用视觉信号，MLLM 仍可能无法正确读取密集的 pixel-level depth map 或 flow visualization，继续依赖 language priors。增加调用次数或直接展示更多可视化结果，不能自动解决 representation 与 reasoning interface 之间的不匹配。 #### Insight 在工具已经能够提供任务所需信号时，瓶颈可能是如何表达输出。把位置、数值读数和关系显式化，可减少模型重新解码视觉图例的负担；这里的 Perception Program 主要是结构化证据表示，并非让 LLM 自由生成并执行任意程序。 #### Method 1. 为 tool output 提取 spatial primitives，每项记录 identifier、normalized coordinates、modality-specific read-out 和可选 label；必要时加入 primitives 之间的 symbolic relations，序列化为 YAML-like text。 2. Depth 以 grid cells 的数值范围及相邻区域前后关系表示；optical flow 汇总局部运动方向；visual correspondence 保留两幅图中的配对坐标。 3. Object detection 保留 bounding box、confidence 与 category；semantic correspondence 使用 feature similarity；jigsaw 则组合边界结构、颜色与梯度的匹配分数。 4. 将 P² 与原图、question 一同输入 off-the-shelf MLLM，在 BLINK 的六类 perception tasks 上比较 image-only、raw tool output 与 structured-cue 三种设置，隔离输出表示带来的效果。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Janjua_Dont_Show_Pixels_Show_Cues_Unlocking_Visual_Tool_Reasoning_in_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Janjua_Dont_Show_Pixels_Show_Cues_Unlocking_Visual_Tool_Reasoning_in_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Janjua_Dont_Show_Pixels_Show_Cues_Unlocking_Visual_Tool_Reasoning_in_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Janjua_Dont_Show_Pixels_Show_Cues_Unlocking_Visual_Tool_Reasoning_in_CVPR_2026_paper.pdf#page=5) 核读章节：Perception Programs · Modality Instantiations · Evaluation Setup 依据正文的 unified schema 与各 modality 实现整理；效果依赖 expert tool 能提供足够准确且相关的 cues。 ### EvoGraph-R1: Self-Evolving Multimodal Knowledge Hypergraphs for Agentic Retrieval CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Lin_EvoGraph-R1_Self-Evolving_Multimodal_Knowledge_Hypergraphs_for_Agentic_Retrieval_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c40/) #### Idea EvoGraph-R1 将 Multimodal GraphRAG 的 knowledge hypergraph 视为可被 Agent 修改的环境。Agent 在 graph retrieval、web search、graph editing 和 answer 之间决策，把新 evidence 整合为可追踪的结构，而非仅作为一次性 prompt context。 #### Research Problem 静态 GraphRAG 容易同时遭遇 text-centric fragmentation、缺失或错误 facts、以及固定 single-pass retrieval。对于需要多跳推理的视觉问题，只在已建 graph 中查询无法补全断裂的链条；搜索得到新事实后若不更新结构，后续 reasoning 也难以复用和校正证据。 #### Insight Knowledge retrieval 与 knowledge maintenance 可以放在同一个 interaction loop 中优化。Hyperedges 表达多实体关系，image anchor 保留视觉出处，显式 INSERT / UPDATE / DELETE 又让模型针对当前问题修复知识状态。其关键能力是维护可演化 evidence structure，而不仅是增加 search rounds。 #### Method 1. 从文本提取 n-ary facts，从图像构建带 image anchors 的 visual hyperedges；经 entity resolution 合并跨模态实体，并用共享 embeddings 建立 retrieval index。 2. 将状态定义为当前 hypergraph、action history 与 query；GRAPHRETRIEVE 访问已有证据，WEBSEARCH 获取外部材料，ANSWER 结束交互。 3. GRAPHEDIT 才提交结构修改：INSERT 添加 facts，UPDATE 修正关系或冲突，DELETE 通过降低 confidence 软删除低质元素；search 本身先获取信息，不自动等同于 graph write。 4. 用 GRPO 训练多轮 policy，trajectory reward 组合 protocol structure、answer token-F1 与 action cost；answer reward 受结构有效性约束，引导模型在正确性和 retrieval / editing 开销间取舍。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_EvoGraph-R1_Self-Evolving_Multimodal_Knowledge_Hypergraphs_for_Agentic_Retrieval_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_EvoGraph-R1_Self-Evolving_Multimodal_Knowledge_Hypergraphs_for_Agentic_Retrieval_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_EvoGraph-R1_Self-Evolving_Multimodal_Knowledge_Hypergraphs_for_Agentic_Retrieval_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_EvoGraph-R1_Self-Evolving_Multimodal_Knowledge_Hypergraphs_for_Agentic_Retrieval_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_EvoGraph-R1_Self-Evolving_Multimodal_Knowledge_Hypergraphs_for_Agentic_Retrieval_CVPR_2026_paper.pdf#page=6) 核读章节：Multimodal Hypergraph Construction · Agent-Based Graph Evolution · Reinforcement Learning Optimization 依据正文的 MDP、graph operations 与 reward 整理；token-F1 是作者采用的 answer reward，不等同于全面语义真实性校验。 ### FusionAgent: A Multimodal Agent with Dynamic Model Selection for Human Recognition CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhu_FusionAgent_A_Multimodal_Agent_with_Dynamic_Model_Selection_for_Human_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c45/) #### Idea FusionAgent 将 face、gait、body recognition models 作为可选择的 tools，让 MLLM 根据当前样本的可见信息逐轮决定调用哪些 experts，随后用 Anchor-based Confidence Top-k（ACT）融合其 scores。重点是 sample-specific model selection，而不是让所有模型固定参与每次识别。 #### Research Problem 不同 biometric cues 的可靠性随视角、遮挡和质量变化，例如背面视频中的 face expert 可能没有有效信息。静态 score fusion 既浪费调用，也可能引入噪声；不同模型的 embedding 与 score scales 又不一致，使简单平均难以充分利用互补性。 #### Insight 是否调用某个 expert 与如何融合它的结果应分别建模。Agent 利用视觉内容和已返回的 identity predictions 逐步选择模型，ACT 保留 anchor 的全局 ranking，再让其他模型以高置信的局部候选修正结果；训练 reward 还需要反映 dataset-level recognition metrics，而不能只看单次回答对错。 #### Method 1. 冻结 recognition model pool，把每个模型封装成 tool；输入 query 后返回 predicted identity，内部保留其 gallery similarity vector，避免要求 Agent 直接解读长 score vectors。 2. 使用 ReAct-style controller，逐轮分析输入、选择 expert、观察结果并决定继续或结束；不依赖预先标注的最佳 model-combination dialogues。 3. 用 GRPO 做 RFT，reward 结合 format、tool-call success、identity accuracy 和 metric-based signal；后者借助部分固定、部分随机的 selection masks 评估组合的 Rank、mAP、TAR 与 FNIR 表现。 4. ACT 以第一个被选中的模型作为 anchor，对各 expert scores 做 Z-score normalization，仅保留其 top-k gallery contributions，再与 anchor score vector 合并。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhu_FusionAgent_A_Multimodal_Agent_with_Dynamic_Model_Selection_for_Human_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhu_FusionAgent_A_Multimodal_Agent_with_Dynamic_Model_Selection_for_Human_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhu_FusionAgent_A_Multimodal_Agent_with_Dynamic_Model_Selection_for_Human_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhu_FusionAgent_A_Multimodal_Agent_with_Dynamic_Model_Selection_for_Human_CVPR_2026_paper.pdf#page=5) 核读章节：Agentic Training Framework · Reward Functions · Anchor-based Confidence Top-k Score-fusion 依据正文方法整理；anchor 的具体实现按 Sec. 3.3 记为第一个被选模型，没有将摘要中的概括替代实现定义。 ### Geometrically-Constrained Agent for Spatial Reasoning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chen_Geometrically-Constrained_Agent_for_Spatial_Reasoning_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c51/) #### Idea Geometrically-Constrained Agent（GCA）先将 spatial query 转成明确的 reference-frame constraint 与 objective constraint，再让 VLM 在这一固定定义下调用 perception 和 geometry tools。它把任务语义解释与几何求解分开，避免工具执行正确但计划采用了错误坐标系。 #### Research Problem VLM 擅长理解“面向水槽”等语义，却容易在精确 orientation、relative position 和 viewpoint transformation 上出错。仅把最后的数值计算交给 Python，仍无法修复规划阶段把 egocentric frame 当成 camera frame 的错误；依赖不可靠 teacher 生成训练数据也可能传递错误 spatial logic。 #### Insight 几何约束需要在 tool planning 之前建立。先锁定“在哪个 frame 中测量什么”，可让 perception outputs、object references 和计算公式都围绕同一任务定义绑定；这比每一步临时用自然语言重新想象空间关系更容易检查。其可靠性仍依赖正确的 formalization 与 geometry estimation。 #### Method 1. VLM 作为 semantic analyst 输出 C_task=(C_R,C_O)，明确 reference frame 与测量目标；reference frame 可由 object intrinsic orientation、camera viewpoint 或两个位置之间的 direction vector 定义。 2. 作为 task solver，VLM 在不可任意修改的 C_task 下运行 ReAct-style loop，调用 detection、segmentation、3D reconstruction 等工具取得所需变量。 3. 遇到多个同类对象等 ambiguity 时，结合 tool feedback 与可视化确认哪个 object index 对应 query 中的语义，并把目标变量绑定到具体 geometry。 4. 从预先验证的公式库按变量类型检索 coordinate transformation 等公式，提供给 code generator，在 Python sandbox 中执行最终计算；整个框架不需要模型 fine-tuning。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Geometrically-Constrained_Agent_for_Spatial_Reasoning_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Geometrically-Constrained_Agent_for_Spatial_Reasoning_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Geometrically-Constrained_Agent_for_Spatial_Reasoning_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Geometrically-Constrained_Agent_for_Spatial_Reasoning_CVPR_2026_paper.pdf#page=5) 核读章节：Task Constraint Formalization · Constrained Geometric Computation · Discussion 依据正文两阶段框架与 toolbox 整理；对 formalization / perception 误差边界的说明为本笔记分析。 ### GeoMMBench and GeoMMAgent: Toward Expert-Level Multimodal Intelligence in Geoscience and Remote Sensing CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xiao_GeoMMBench_and_GeoMMAgent_Toward_Expert-Level_Multimodal_Intelligence_in_Geoscience_and_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c50/) #### Idea 论文同时提出 GeoMMBench 和 GeoMMAgent：前者用跨 geoscience disciplines、sensor modalities 与 task levels 的专家题目评测能力，后者以 plan–execute–evaluate workflow 组织 retrieval、perception 和 reasoning agents，连接通用模型与 RS 专用工具。 #### Research Problem 既有 remote sensing benchmarks 多聚焦 optical imagery 上的分类、检测或描述，难以覆盖 SAR、LiDAR、DEM 等异构数据，以及 GIS、GNSS 和物理知识驱动的高层解释。单一 MLLM 的知识、感知与推理短板也不能仅靠泛化 prompting 同时补齐。 #### Insight 领域能力需要按 knowledge、perception、reasoning 分解诊断，并为不同缺口配置不同 evidence sources。更广的 benchmark 能揭示通用模型在专业情境下的系统性失败；tool-augmented orchestration 则将现有专用 RS models 变为可组合能力，而不要求一个模型内部掌握全部任务。 #### Method 1. 由专家按 disciplines、modalities、tasks 制定知识点并编写 image-based multiple-choice questions；peer review 去除可仅凭文本作答的题目，以及 ambiguity、错误选项或 solution，形成 GeoMMBench。 2. Coordinator 解析 image–query pair，生成包含 subgoals、所需 agents / tools、执行顺序与 dependencies 的 plan，再分发给 specialized agents。 3. Knowledge tools 使用 search engines 与 GME multimodal retrieval，并返回 evidence provenance；perception tools 提供 domain-trained detection / classification / segmentation，reasoning tools 处理复杂解释与中间推理。 4. 聚合 structured outputs 后，self-evaluation 检查 reasoning trace 与原 plan 的一致性，针对问题选择性重执行；tools 通过 MCP interface 接入，支持扩展专用能力。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiao_GeoMMBench_and_GeoMMAgent_Toward_Expert-Level_Multimodal_Intelligence_in_Geoscience_and_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiao_GeoMMBench_and_GeoMMAgent_Toward_Expert-Level_Multimodal_Intelligence_in_Geoscience_and_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiao_GeoMMBench_and_GeoMMAgent_Toward_Expert-Level_Multimodal_Intelligence_in_Geoscience_and_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiao_GeoMMBench_and_GeoMMAgent_Toward_Expert-Level_Multimodal_Intelligence_in_Geoscience_and_CVPR_2026_paper.pdf#page=5) 核读章节：Benchmark Construction · GeoMMAgent Overall Framework · Specialized Tool Library 依据正文的 benchmark 与 agent 两部分整理；expert-level 是研究目标与评测定位，不代表系统已在全部 geoscience 工作中达到专家水平。 ### Graph-to-Frame RAG: Visual-Space Knowledge Fusion for Training-Free and Auditable Video Reasoning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yang_Graph-to-Frame_RAG_Visual-Space_Knowledge_Fusion_for_Training-Free_and_Auditable_Video_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c52/) #### Idea G2F-RAG 把检索增强的接口从追加文本改为追加一张 reasoning frame。先构建与问题无关的 video knowledge graph，再按问题提取小子图并渲染，冻结的 LMM 同时读取原视频与这张结构图，外部知识的表达形式本身成为方法核心。 #### Research Problem Video-RAG 常把字幕、描述、知识文本或多个片段加入 context，默认相关内容越多越好。论文在同一 Qwen2.5-VL 上观察到文本 context 分散对关键帧的 attention，甚至短视频也退化。需要解决的不只是检索相关性，还有异构知识进入视频模型时的表示竞争和上下文负担。 #### Insight 事件因果与场景 affordance 可以压缩为可检查的关系结构，再经视觉通道交给 video backbone。该设计结合知识选择、复杂度控制与视觉表达，同时让简单问题绕过增强分支。Attention 可视化和同底模结果支持作者的解释，但 cognitive load 是其机制解释，并非独立测量的认知变量。 #### Method 1. 离线 graph-construction agent 提取 event–causal view，包括动作、参与者、前提和结果，以及 scene–affordance view，包括物体功能、位置连接和概念知识，再用 cross-links 连接并缓存完整图。 2. 在线 orchestration agent 根据证据局部性、跨场景依赖和外部知识需求估计增强收益，以阈值路由 easy/hard；easy 直接答，低置信或超预算时回退或收紧约束重试。 3. Retrieval agent 将问题转换为图查询，按相关性减复杂度选择 minimal sufficient subgraph，并显式限制 node/edge 数，避免把整图转为密集图像。 4. Graphviz renderer 用简单几何形状、短标签和因果流生成一帧，追加在视频末尾。该帧不编码时间戳，推理指令要求以原视频为权威证据；全过程无需更新 backbone 参数。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_Graph-to-Frame_RAG_Visual-Space_Knowledge_Fusion_for_Training-Free_and_Auditable_Video_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_Graph-to-Frame_RAG_Visual-Space_Knowledge_Fusion_for_Training-Free_and_Auditable_Video_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_Graph-to-Frame_RAG_Visual-Space_Knowledge_Fusion_for_Training-Free_and_Auditable_Video_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_Graph-to-Frame_RAG_Visual-Space_Knowledge_Fusion_for_Training-Free_and_Auditable_Video_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_Graph-to-Frame_RAG_Visual-Space_Knowledge_Fusion_for_Training-Free_and_Auditable_Video_CVPR_2026_paper.pdf#page=5) 核读章节：Attention Analysis · Multi-Agent Framework · Graph-to-Frame Knowledge Fusion · Hierarchical Mechanism 依据正文方法、attention analysis 与实现设置整理。认知负担证据的性质是笔记分析。 ### Hybrid Agents for Image Restoration CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Li_Hybrid_Agents_for_Image_Restoration_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c59/) #### Idea HybridAgent 将 image restoration 的请求理解、退化识别和结果反馈分给 FastAgent、SlowAgent、FeedbackAgent，并把单类退化与 mixed distortion restoration tools 纳入统一调度。核心改变是根据指令明确程度分配推理开销，同时直接处理纠缠退化，避免所有输入都经重型 MLLM 和逐项修复。 #### Research Problem RestoreAgent、AgenticIR 等系统依靠逐步调用独立修复模型，噪声、模糊和压缩伪影之间的耦合可能造成分布变化及误差传播。专业用户已经指出退化类型时，再运行视觉诊断也增加开销。另一方面，普通用户的模糊请求需要视觉识别及停止判断，固定单一交互模式难同时满足两类需求。 #### Insight 交互难度与修复难度是两个可分别处理的因素。明确的语言需求可走低成本路径，复杂图像则需要领域适配的诊断和反馈。共享 restoration backbone 能保留不同任务的共通知识，而单独训练 mixed tool 能学习联合退化映射，减少串行工具之间的失配。 #### Method 1. FastAgent 采用 Llama3.2-1B-Instruct，通过 in-context learning 判断请求是否明确。明确请求直接映射到修复工具，否则转交 SlowAgent。 2. 在 Co-Instruct 上用退化指令数据微调 SlowAgent，扩展 distortion recognition 范围，再通过多个诊断结果的 majority voting 选择退化类型和工具。 3. FeedbackAgent 同样从 Co-Instruct 微调，判断输出是否已达到相对 clean 状态，并读取历史工具调用，决定继续修复或终止，避免仅凭通用 IQA 分数决定完成。 4. 工具训练分三阶段：先训练共享 prompt-based all-in-one restoration model，再为各单任务重新初始化 prompts 并做 LoRA adaptation，最后继承单任务 prompts、结合混合退化合成数据训练 hybrid restoration tool。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Hybrid_Agents_for_Image_Restoration_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Hybrid_Agents_for_Image_Restoration_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Hybrid_Agents_for_Image_Restoration_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Hybrid_Agents_for_Image_Restoration_CVPR_2026_paper.pdf#page=5) 核读章节：3.1. HybridAgent · 3.2. Restoration Tools · 4.1. Implementation Details 依据正文角色划分与三阶段工具训练整理。共享知识及减少串行失配是作者的方法动机，本笔记未将其解释为任意真实退化上的保证。 ### IBISAgent: Reinforcing Pixel-Level Visual Reasoning in MLLMs for Universal Biomedical Object Referring and Segmentation CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Jiang_IBISAgent_Reinforcing_Pixel-Level_Visual_Reasoning_in_MLLMs_for_Universal_Biomedical_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c60/) #### Idea IBISAgent 将 biomedical segmentation 从一次性生成隐式 segmentation token，改成 MLLM 连续输出文字推理与 positive / negative clicks 的交互过程。它保持语言输出接口，通过外部 MedSAM2 等分割工具获得 mask，并再次观察叠加图，兼顾目标指认、reasoning segmentation 和已有 mask 的补全。 #### Research Problem 已有 medical MLLM 常需与 pixel decoder 联合微调，可能影响原有语义泛化。即使将 point prompt 交给 SAM，单轮 grounding 仍无法纠正复杂组织边界上的错误。已有标注又主要提供最终 mask，缺少可直接训练多轮决策的点击轨迹。 #### Insight 当前预测与目标 mask 的 FP / FN 区域可把静态像素标注转成动作监督，而每次点击后的 mask 又是可观察的环境反馈。训练目标同时约束点击位置、实际分割进步与交互长度，才可能学到持续修正和及时停止，而非只模仿初始定位。 #### Method 1. 从 BiomedParseData 的 image–mask–label tuples 出发，按当前 mask 与 GT 的错误区域模拟点击，在较大的错误区域中心放置修正点，并剔除过长或最终 Dice 不足的轨迹。 2. 用 Gemini 生成目标相关 QA，用 GPT-5 根据正确动作与 TP / FP / FN 信息补充 reasoning；另合成撤回错误点击、纠正用户初始 mask 与文字目标不一致的反思轨迹。 3. 以 456K trajectories 做 cold-start SFT，计算 reasoning / action token 的交叉熵，屏蔽工具 observation 和刻意注入的错误动作。推理时动作包含 target、点击正负属性与归一化坐标，工具综合图像、历史点击和旧 mask 返回新叠加图。 4. 用分割 QA 与普通 biomedical VQA 混合数据进行无 KL penalty 的 GRPO；reward 平均组合 format、最终答案或 IoU、点击落点、逐步 IoU 改善及长度约束，使模型自主探索何时调用工具和结束。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_IBISAgent_Reinforcing_Pixel-Level_Visual_Reasoning_in_MLLMs_for_Universal_Biomedical_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_IBISAgent_Reinforcing_Pixel-Level_Visual_Reasoning_in_MLLMs_for_Universal_Biomedical_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_IBISAgent_Reinforcing_Pixel-Level_Visual_Reasoning_in_MLLMs_for_Universal_Biomedical_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_IBISAgent_Reinforcing_Pixel-Level_Visual_Reasoning_in_MLLMs_for_Universal_Biomedical_CVPR_2026_paper.pdf#page=5) 核读章节：Architecture Overview · Cold-Start Supervised Fine-Tuning · Agentic Reinforcement Learning 依据正文架构、数据生成和 reward 条款整理。机制解释为对作者设计的归纳，未将论文分割任务表现外推为临床诊断可靠性。 ### JarvisEvo: Towards a Self-Evolving Photo Editing Agent with Synergistic Editor-Evaluator Optimization CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Lin_JarvisEvo_Towards_a_Self-Evolving_Photo_Editing_Agent_with_Synergistic_Editor-Evaluator_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c64/) #### Idea JarvisEvo 将修图、观察编辑结果、自评分和反思放入 interleaved multimodal chain-of-thought（iMCoT），并让同一个模型的 editor 与 evaluator 能力通过 SEPO 交替优化。核心改变是让视觉反馈进入每一步编辑，并让评价器随策略一起更新。 #### Research Problem 纯文本 CoT 只在开始编码图像，后续编辑假设没有中间结果校验，复杂指令容易偏离。固定 reward model 的漏洞可被持续更新的 editor 利用；仅靠内部评分又可能自我欺骗，离线校准不能解决策略分布不断变化的问题。 #### Insight 编辑和评价可以共享模型，但必须区分两种学习信号。Editor 从组内相对偏好学习操作，evaluator 则由 human-annotated score 约束。Selective loss masking 避免 editor 通过直接提高自己的评价文本获得奖励，从优化路径上减少自评分与编辑质量混淆。 #### Method 1. 先用编辑与评价样本做 cold-start SFT，训练文本推理、工具语法、intermediate image 读取和评分。推理时在外部 sandbox 执行编辑工具，把输出图像重新加入轨迹，支持 Adobe Lightroom 全局与局部编辑。 2. SEPO editor loop 对同一输入采样多条轨迹，以格式、工具名称及参数有效性、审美与指令符合度组成 reward；自评分转换为组内 pairwise win rate，再以 GRPO 更新推理和 tool-call tokens。 3. Selective loss masking 排除自评价 tokens。Evaluator loop 单独读取原图、指令与完整编辑上下文，通过格式奖励和预测分数对人工分数的对齐奖励训练，loss 只覆盖评价输出。 4. 按当前策略高低分轨迹构造 reflection 数据，把差结果与优结果交给 Gemini-2.5-Pro 分析差异，以更优轨迹的工具配置及图像为修正目标，最后做 reflection fine-tuning。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_JarvisEvo_Towards_a_Self-Evolving_Photo_Editing_Agent_with_Synergistic_Editor-Evaluator_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_JarvisEvo_Towards_a_Self-Evolving_Photo_Editing_Agent_with_Synergistic_Editor-Evaluator_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_JarvisEvo_Towards_a_Self-Evolving_Photo_Editing_Agent_with_Synergistic_Editor-Evaluator_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_JarvisEvo_Towards_a_Self-Evolving_Photo_Editing_Agent_with_Synergistic_Editor-Evaluator_CVPR_2026_paper.pdf#page=5) 核读章节：Overview · Cold-Start Supervised Fine-tuning · Synergistic Editor-Evaluator Policy Optimization · Reflection Data Generation and Fine-tuning 依据 SEPO 双循环及 reflection 正文整理。无外部 reward model 不等于无人类监督，evaluator 明确使用人工评价标注。 ### Learning to Focus and Precise Cropping:A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhao_Learning_to_Focus_and_Precise_CroppingA_Reinforcement_Learning_Framework_with_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c69/) #### Idea LFPC 用两阶段 RL 学习真正依赖 image crop 的高分辨率问答。第一阶段人为建立低分辨率全局图像与高分辨率 crop 之间的 Information Gap，第二阶段以少量 hierarchical bounding boxes 改进裁剪精度，不需要教师提供完整 reasoning trajectories。 #### Research Problem 已有 crop agents 可能先根据全图猜答案，再调用工具确认。作者在 HR-Bench 与 V* 中把 crop 替换为 ground truth 或 random noise，发现部分模型准确率变化很小。因为训练时全图和裁剪源图具有相同细节，答案奖励不足以迫使模型读取工具输出，单纯在测试时降低全图分辨率也不能补上这种能力。 #### Insight 工具输出必须带来全局输入无法直接提供的信息，策略才有学习使用工具的动力。但全图降采样不能过度，否则目标无法定位。Information Gap 又会诱导模型扩大 crop 获取更多信息，因此还需要兼顾关键内容覆盖与区域精简的 grounding supervision。 #### Method 1. Offline Resolution Selection 逐级降低原图分辨率，用待训练模型分别回答原图与降采样图的问题，在答案首次分歧时选定全局输入。crop 始终从高分辨率原图提取。 2. 第一阶段采用 QA pairs 训练 Qwen2.5-VL-7B，以 answer accuracy、format reward 和仅在答对且调用工具时发放的 tool bonus 组成奖励，使用 GRPO 更新，不使用已有数据中的教师推理轨迹。 3. 第二阶段从 VisualProbe 取 256 个样本，人工标注从最小必要证据到包含上下文区域的嵌套 boxes，允许多个合理裁剪尺度。 4. Grounding reward 将 IoU 与归一化 L1 距离组合。只有 crop 对最小必要 box 的覆盖超过 0.9 才获得 IoU reward，L1 分量则在没有重叠时仍提供较密集信号。用不同全图 token 预算及 crop 替换实验检查工具依赖。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_Learning_to_Focus_and_Precise_CroppingA_Reinforcement_Learning_Framework_with_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_Learning_to_Focus_and_Precise_CroppingA_Reinforcement_Learning_Framework_with_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_Learning_to_Focus_and_Precise_CroppingA_Reinforcement_Learning_Framework_with_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_Learning_to_Focus_and_Precise_CroppingA_Reinforcement_Learning_Framework_with_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhao_Learning_to_Focus_and_Precise_CroppingA_Reinforcement_Learning_Framework_with_CVPR_2026_paper.pdf#page=6) 核读章节：3. Preliminary Analysis · 4.1. Learn to Focus · 4.2. Learn to Crop Precisely · 5.1. Setups 依据正文干预实验、两阶段目标和数据设置整理。crop 替换是作者用于检验工具输出利用程度的受控实验。 ### Learning to Select Visual Tools from Experience CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Huang_Learning_to_Select_Visual_Tools_from_Experience_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c70/) #### Idea VisualToolAgent（VisTA）把选择视觉工具的 agent 与负责回答的 frozen reasoner 解耦，单独用 RL 学习哪些工具组合适合当前 image–question。工具库同时包含不同功能和同类但能力不同的实现，训练只需最终任务反馈，无需示范每题该调用哪个工具。 #### Research Problem Training-free prompting 依赖工具描述和模型既有知识，SFT 依赖人工或合成调用示范，两者都难发现未充分说明、实际可靠性不同的工具之间的协同关系。直接微调整个 reasoner 又使工具策略绑定具体底模，难在新 reasoning backbone 上复用。 #### Insight 工具的价值应由其输出能否帮助既定 reasoner 正确作答来检验，而不能只看功能标签。将选择策略独立优化，可把试错经验集中到 query-dependent tool selection；多轮情况下，reasoner 对已有证据的 confidence 则为是否继续补充工具提供状态反馈。 #### Method 1. 输入原图与问题，agent 只看到工具索引及粗粒度类别，输出可变长度的工具索引序列；执行所选 chart、geometry、detection 等工具，把结果与原输入组合成 reasoner 的增强 prompt。 2. 训练时同时计算仅看原图的 baseline answer 与工具增强答案：工具使错误变正确或两者均正确时奖励 +1，使原本正确变错误时为 −0.5，两者均错误为 0。 3. 同题采样多个工具组合，按组内 reward 标准化 advantage，以 clipping 和 KL regularization 的 GRPO 更新 agent，保持 reasoner 参数不变。 4. 多轮版本保留先前工具选择与 reasoner confidence，逐轮补充工具并累计其输出；confidence 达到 0.9 或轮数上限后统一回答，训练屏蔽非 agent 生成的 observation tokens，并检验跨 reasoner 迁移。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Huang_Learning_to_Select_Visual_Tools_from_Experience_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Huang_Learning_to_Select_Visual_Tools_from_Experience_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Huang_Learning_to_Select_Visual_Tools_from_Experience_CVPR_2026_paper.pdf#page=4) 核读章节：Problem Formulation · VisTA Framework · Multi-Turn Tool Refinement · Policy Optimization · Tool Selection Prompting 读取正文方法和 reward 定义。奖励对“两者均正确”同样给正分，因此这里没有把它解释为严格的工具增益估计或最少调用目标。 ### LensWalk: Agentic Video Understanding by Planning How You See in Videos CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Li_LensWalk_Agentic_Video_Understanding_by_Planning_How_You_See_in_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c71/) #### Idea LensWalk 把视频理解中的 observation 本身变为 Agent 决策。Reasoner 每轮根据问题和已有证据决定看哪个时间段、采多密、是否将不连续片段一起看，再由 Observer VLM 返回视觉事实，形成 reason–plan–observe 循环。 #### Research Problem 现有长视频 Agent 往往查询预先生成的 captions、embeddings 或固定切片。虽然检索 query 可变，预处理时确定的 temporal coverage 和 sampling density 已无法跟随推理调整，关键短事件及跨片段身份歧义因此难以补查。 #### Insight 推理中的新假设应改变下一次视觉输入，而非只改变对静态输入的思考长度。粗搜索定位、局部高密度观察和跨片段联合验证具有不同用途，配合时间与实体记忆，可以让矛盾触发重新观察，而不是在语言摘要中反复调和。 #### Method 1. Reasoner 读取 query、video metadata、工具历史与当前 Subject Memory Table，输出 tool、子问题、时间范围、frame count/FPS 及专用参数。执行结果按时间范围加入历史，作为下一轮规划依据。 2. Scan Search 对指定范围切片并稀疏采样，各片独立调用 Observer，返回目标事件位置或相关性描述，适合广泛定位且可并行。Segment Focus 对连续局部区间密集采样，读取细节或重新检查同一事件。 3. Stitched Verify 把多个不连续片段的帧合为一次 Observer 输入，各片段可用不同采样率，以共同视觉上下文完成前后对比、身份辨别和因果链检查。 4. 在帧序列中插入 Timestamp Anchors 让回答带时间依据，每轮由 LLM 更新实体属性及出现区间的 Subject Memory Table，并替换旧表而非无限追加。无需训练，实验限制最多 20 次工具调用并设置各类工具帧预算。 #### Sources & Reading Scope [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_LensWalk_Agentic_Video_Understanding_by_Planning_How_You_See_in_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_LensWalk_Agentic_Video_Understanding_by_Planning_How_You_See_in_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_LensWalk_Agentic_Video_Understanding_by_Planning_How_You_See_in_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_LensWalk_Agentic_Video_Understanding_by_Planning_How_You_See_in_CVPR_2026_paper.pdf#page=6) 核读章节：Overview of the LensWalk Architecture · Reason-Scheduled Video Observation · Multi-Granularity Observation Tool Suite · Evidence Grounding for Long-Horizon Coherence 依据方法与实验配置整理。Subject Memory Table 仍可引入识别或合并错误，原文通过 re-observation 处理矛盾。 ### Lighting-grounded Video Generation with Renderer-based Agent Reasoning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Cai_Lighting-grounded_Video_Generation_with_Renderer-based_Agent_Reasoning_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c72/) #### Idea LiVER 让 renderer-based agents 把自然语言中的场景布局、灯光与相机运动转成显式 3D scene proxy，再用该 proxy 条件化 video diffusion model。光照控制通过物理渲染得到的 diffuse、rough GGX、glossy GGX 三组信号传入生成器，使语义编辑能落实到可操作的场景参数。 #### Research Problem 视频生成中的 layout、lighting 和 camera trajectory 经常纠缠。已有 3D-aware conditioning 主要处理几何一致性，relighting 方法又可能连带改变布局或镜头。仅靠文字提示难为影视制作提供独立、精确的物理属性控制，现成视频也缺少训练这种控制所需的密集标注。 #### Insight 统一 3D representation 能让同一组几何、HDR lighting 和 camera parameters 产生像素对齐的控制信号。不同材质响应分别表达环境光、宽反射和高频镜面高光，使生成网络既能保留预训练外观先验，又获得可解释的物理条件。 #### Method 1. 构建 LiVERSet：真实视频使用 VGGT 估计相机及首帧深度，Grounding-DINO/SAM 2 提取对象，DiffusionLight-Turbo 估计 HDR lighting；合成部分用 Objaverse-XL、Poly Haven 和 Blender 生成动态照明视频，两部分都渲染统一 scene proxy。 2. Scene Agent 将提示解析为对象及空间关系图，检索 mesh 并调整 pose；根据灯光语义选择或生成 HDR map，Camera Agent 把镜头提示变成 keyframes，再用 spline 插值得到连续轨迹。 3. 三类 RGB render passes 沿通道拼接为 9-channel condition，用轻量 2D convolutional proxy encoder 映射到 video latent 尺度，以零初始化可学习权重将残差信号加入 Wan2.2-5B 的生成过程，采用 flow-matching objective。 4. 先冻结 diffusion backbone 训练 encoder/adapter，再联合训练 backbone LoRA 与条件模块，最后以 1:1 real/synthetic 数据继续微调以扩展光照多样性。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Cai_Lighting-grounded_Video_Generation_with_Renderer-based_Agent_Reasoning_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Cai_Lighting-grounded_Video_Generation_with_Renderer-based_Agent_Reasoning_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Cai_Lighting-grounded_Video_Generation_with_Renderer-based_Agent_Reasoning_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Cai_Lighting-grounded_Video_Generation_with_Renderer-based_Agent_Reasoning_CVPR_2026_paper.pdf#page=5) 核读章节：3. Dataset · 4.1. Renderer-based Agent Reasoning · 4.2. Lighting-grounded Video Generation · 4.3. Stage-wise Training Scheme 依据正文数据构造、agent scene authoring 和模型训练流程整理。真实视频的 HDR map 是全局光照近似，这是作者设定。 ### LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yang_LongVT_Incentivizing_Thinking_with_Long_Videos_via_Native_Tool_Calling_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c73/) #### Idea LongVT 让长视频模型在全局稀疏浏览后原生调用 crop_video(start_time, end_time)，获取局部更密集的帧并继续推理，形成 interleaved Multimodal Chain-of-Tool-Thought。核心改变是让时间定位、重新观看与答案生成成为同一模型的连续决策，并通过 VideoSIAH 数据及 SFT→RL→RFT 训练固化这种行为。 #### Research Problem 长视频的决定性证据可能只存在几秒，均匀抽帧和纯文本 CoT 容易遗漏或编造内容。以短片段或粗粒度 QA 训练的工具模型，也缺少提出、验证和修正时间假设的监督。多选答案正确并不能证明找到了对应视觉证据。 #### Insight 回答正确与时间区间正确是不同信号，二者联合奖励能约束“猜对但看错”的轨迹；早期 RL 中同时满足这两点的成功轨迹又可作为同分布监督，帮助稳定工具使用，而无需额外奖励调用次数本身。 #### Method 1. 以 scene detection 分割长视频，合并过短片段，生成 clip captions 与覆盖事件、动作和属性的 QA；再做文本质量过滤、视觉一致性检查及人工反馈修订，构建 segment-in-a-haystack 数据。 2. Cold-start SFT 混合 image / video reasoning 与工具轨迹，并随视频长度提高多轮轨迹采样概率，先训练提出时间窗口、调用裁剪、整合返回帧的能力。 3. RL 数据按视频时长均衡抽样，并保留多次 rollout 有成功也有失败的中等难度问题。GRPO reward 相加答案语义正确性、格式合规与 predicted span 的 temporal IoU；开放回答由 judge 分为完全、部分及不一致。 4. 从早期 RL 筛出最终回答正确且时间 IoU 至少 0.3 的轨迹，转为 RFT supervised examples。推理重复全局假设、局部裁剪和证据核验，在 VideoSIAH-Eval 及其他长视频 benchmark 中评估。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_LongVT_Incentivizing_Thinking_with_Long_Videos_via_Native_Tool_Calling_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_LongVT_Incentivizing_Thinking_with_Long_Videos_via_Native_Tool_Calling_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_LongVT_Incentivizing_Thinking_with_Long_Videos_via_Native_Tool_Calling_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_LongVT_Incentivizing_Thinking_with_Long_Videos_via_Native_Tool_Calling_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_LongVT_Incentivizing_Thinking_with_Long_Videos_via_Native_Tool_Calling_CVPR_2026_paper.pdf#page=6) 核读章节：VideoSIAH: A Fine-Grained Data Suite for Evidence-Sparse Long-Video Reasoning · Data Pipeline · Dataset Curation · Training Strategy · Agentic Reinforcement Learning · Agentic Reinforcement Fine-tuning 读取数据构建、三阶段训练和完整 reward 定义。文中说明 VideoSIAH-Eval 清理后为 652 个唯一 QA；没有沿用早期重复导出规模。 ### META: Meta Evolution of Tool Trajectory Adaptation for Long-Video Understanding CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Huang_META_Meta_Evolution_of_Tool_Trajectory_Adaptation_for_Long-Video_Understanding_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c74/) #### Idea META 在 frozen Orchestrator 和 Workers 之外维护会演化的 Meta Toolset。解决视频问题后，将成功 trajectory 中反复有效的微操作抽象为 macro-tool，将失败轨迹整理为工具使用条件，使后续任务可以调用更高层、较短的操作组合。 #### Research Problem 静态 long-video agents 虽能调用 detection、OCR、segmentation 和 tracking，却为每个问题重新组织同类长工具链。长视频的关键证据稀疏，这些重复微操作增加探索成本，也让错误沿长轨迹积累，已有能力不能以可复用形式沉淀。 #### Insight 参数不更新也能改变系统的有效能力，前提是保存可执行的操作结构及其适用条件。成功经验用于减少重复规划，失败经验用于收紧工具边界。主算法以 ground-truth answer 判定轨迹成败，但作者也验证 withheld-GT evolution 和独立数据 offline evolution，因而不能把 GT 反馈说成所有变体的必要条件。 #### Method 1. Solving loop 中 Orchestrator 根据 question 与共享 context 分解 subtask–tool assignments，选择当前 micro/macro tools。各 Worker 独立执行并返回局部片段、实体或描述，可并行收集证据。 2. Orchestrator 汇总执行结果并判断是否足够作答，否则继续分解。系统记录每轮 sub-instruction、selected tools 与 returned evidence，形成结构化 trajectory。 3. Evolving loop 将预测答案与 ground truth 比较。正确轨迹交给 Reflector，删除冗余、失败及探索步骤，提炼起作用的工具子序列并抽象为 macro-tool，检查功能冗余后才纳入 toolset。 4. 错误轨迹用于定位问题工具，把条件或失败模式写为 tool-specific experience note 并整理已有经验。主在线协议先预测再更新；补充实验在 1k CG-Bench 样本上离线演化后跨 benchmark 测试，以及演化时不提供 GT，两种设置仍有增益。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Huang_META_Meta_Evolution_of_Tool_Trajectory_Adaptation_for_Long-Video_Understanding_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Huang_META_Meta_Evolution_of_Tool_Trajectory_Adaptation_for_Long-Video_Understanding_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Huang_META_Meta_Evolution_of_Tool_Trajectory_Adaptation_for_Long-Video_Understanding_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Huang_META_Meta_Evolution_of_Tool_Trajectory_Adaptation_for_Long-Video_Understanding_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Huang_META_Meta_Evolution_of_Tool_Trajectory_Adaptation_for_Long-Video_Understanding_CVPR_2026_paper.pdf#page=6) 核读章节：Framework Overview and Formulation · Solving: Tool Trajectory Extraction · Evolving: Macro-Tools Abstraction · Implementation Details · Robustness of Evaluation Protocol 依据双循环主算法及 p6 协议稳健性实验整理。主算法使用 GT correctness signal，无 GT 变体的具体替代反馈机制在所读正文段落未展开，不作推断。 ### OctoT2I: A Self-Evolving Agentic Text-to-Image Router CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Jiang_OctoT2I_A_Self-Evolving_Agentic_Text-to-Image_Router_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c86/) #### Idea OctoT2I 把多个 text-to-image models 的选择定义为满足质量阈值下的成本最小化问题。系统先通过自主探索建立每个工具的能力知识，再依据用户 prompt、长期知识和本次生成历史动态路由，可在一次失败后换工具，并在达到质量要求时停止。 #### Research Problem 已有 agentic T2I 系统常依赖人工工具描述、标注数据或固定单轮流程。模型间存在速度与组合生成能力差异，固定调用重型模型会浪费资源，固定轻型模型又难处理计数和空间关系。未知工具能力及生成随机性使静态路由无法可靠实现质量与效率的联合目标。 #### Insight 工具知识可以由实际生成试验累积，而不只来自模型名称或人工先验。具体 prompt 的成功率记录与概括性 tool profiles 提供互补证据。多轮执行反馈进一步修正当前请求上的能力估计，使路由能结合预期能力与已发生失败作决定。 #### Method 1. 从空 knowledge base 开始，由 LLM 定义颜色、数量、位置等 conceptual dimensions，并按维度组合复杂度推进 Propose–Solve–Evaluate–Learn 循环，为每个工具生成测试 prompts 和多次图像输出。 2. Evaluator 对 prompt-image alignment 做 yes/no 判断，使用两个 token 的 logits 得到连续分数。以超过质量阈值的频率估计 Pass@1，同时记录平均 inference cost，汇总细粒度探索记录和高层能力描述。 3. Exploration pruning 只在工具掌握某组合的所有非空子组合后探索该复杂组合，将预算集中于其能力边界，而非穷举全部 prompts。 4. 推理时采用 filter-then-select：估计哪些工具能达到质量阈值，再选预计成本最低者。将工具、图像、得分加入短期 memory，达标或轮数用尽时返回目前最高分图像；实验控制器由 GPT-4.1 policy distillation 得到 Qwen2-0.5B。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_OctoT2I_A_Self-Evolving_Agentic_Text-to-Image_Router_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_OctoT2I_A_Self-Evolving_Agentic_Text-to-Image_Router_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_OctoT2I_A_Self-Evolving_Agentic_Text-to-Image_Router_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_OctoT2I_A_Self-Evolving_Agentic_Text-to-Image_Router_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_OctoT2I_A_Self-Evolving_Agentic_Text-to-Image_Router_CVPR_2026_paper.pdf#page=6) 核读章节：3.1. Problem Formulation · 3.2. OctoT2I System Design · 3.3. Knowledge Acquisition via Self-Evolution · 4.1. Experimental Setting 依据正文路由目标、PSEL 和实现设置整理。质量与能力均由 evaluator 估计，不能把其阈值直接等同于所有用户的主观质量要求。 ### OralGPT-Plus: Learning to Use Visual Tools via Reinforcement Learning for Panoramic X-ray Analysis CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Fan_OralGPT-Plus_Learning_to_Use_Visual_Tools_via_Reinforcement_Learning_for_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c87/) #### Idea OralGPT-Plus 将 panoramic X-ray 理解组织成观察、局部复查与左右对照的过程。模型除 Zoom-In 外还能调用 Mirror-In 获取对侧区域，用临床导向的轨迹 SFT 和 Reinspection-Driven RL 学习何时重看，以及如何把重看结果纳入最终诊断文本。 #### Research Problem 传统 detector 只给异常位置和类别，single-pass VLM 虽能描述影像，却无法回访细微阴影。普通 crop 没有利用口腔双侧对称性，而多病灶诊断若只奖励答案全对，部分发现也得到零分，导致信号稀疏并鼓励无目的探索。 #### Insight 对侧牙齿和组织可成为同一影像中的结构参照，使模糊局部异常得到额外验证。奖励应先识别诊断是否具有可信基础，再鼓励补充检查，因此作者用 rubric 质量门控 exploration bonus，避免把增加工具次数本身等同于诊断改善。 #### Method 1. 整合公开区域标注与 MMOral-OPG 构建约 5K 图像的 DentalProbe，用 tooth-number detector 对齐牙位与病灶，将表现区分为明显、细微及骨相关发现，并以聚类生成重点检查区域。 2. 规则生成全局观察到局部检查的轨迹，tool decision module 判断使用 Zoom-In 还是 Mirror-In；后者按中线取对侧 crop，两侧均用 1.5× padding 容忍错位。视觉摘要和临床定义用于改写 reasoning，经多模型改写和牙医抽样评价完善。 3. 冻结 vision encoder 与 projector，对 language module 全参数 SFT，学习 thought–action–observation 及 Finalize 协议。每轮把工具图像追加历史，达到停止动作或步数上限后输出报告。 4. GRPO 使用连续 rubric reward，评价临床含义、影像准确性、严重错误与遗漏；只有 rubric 超阈值才启用随探索饱和度下降的工具 bonus，再与 format reward 相加。MMOral-X 用开放问题和区域标注检验整体诊断。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Fan_OralGPT-Plus_Learning_to_Use_Visual_Tools_via_Reinforcement_Learning_for_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Fan_OralGPT-Plus_Learning_to_Use_Visual_Tools_via_Reinforcement_Learning_for_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Fan_OralGPT-Plus_Learning_to_Use_Visual_Tools_via_Reinforcement_Learning_for_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Fan_OralGPT-Plus_Learning_to_Use_Visual_Tools_via_Reinforcement_Learning_for_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Fan_OralGPT-Plus_Learning_to_Use_Visual_Tools_via_Reinforcement_Learning_for_CVPR_2026_paper.pdf#page=6) 核读章节：Dentist-like Instruction Tuning · Dental-Aware Tool Design · DentalProbe Trajectory Construction · Reinspection-Driven Reinforcement Learning · Hybrid Reward System 依据正文工具几何定义、数据流程和 reward 门控公式整理。诊断可靠性的表述限于作者实验设定。 ### Proof-of-Perception: Certified Tool-Using Multimodal Reasoning with Compositional Conformal Guarantees CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Fayyazi_Proof-of-Perception_Certified_Tool-Using_Multimodal_Reasoning_with_Compositional_Conformal_Guarantees_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c93/) #### Idea Proof-of-Perception（PoP）把多模态推理编译为 perception/fusion DAG，并让每个节点输出经过 split conformal calibration 的候选集合。Controller 根据逐节点 uncertainty 和剩余预算决定接受、提高观察质量、增加工具或弃答，将可靠性信号直接用于计算分配。 #### Research Problem 单次 VLM、multimodal CoT 和一般 ReAct/program-of-thought 往往过早提交单个 OCR 字符串、box 或数值，后续推理难恢复早期感知错误。固定 retry 规则及只校准最终答案不能指出哪一步证据不稳，也不能有针对性追加成本。 #### Insight 保留多个仍合理的中间候选，能把感知歧义显式传给后续融合。Conformal set size 等信号又提供重试依据。正文的 marginal coverage 依赖 calibration/test exchangeability，有限候选生成、集合截断和自适应分布变化需要区别于无条件整条推理正确保证。 #### Method 1. 将输入图像和问题生成 CALL_TOOL、FUSE、RETURN DSL，由 deterministic interpreter 检查语法与无环性并构造 DAG。工具节点执行 OCR、detection、layout/chart parsing，fusion 节点组合父节点证据。 2. 为 OCR-string、det-box、chart-value、logic-text 等节点训练 nonconformity head，利用真实中间标注或 teacher/heuristic pseudo-labels。Calibration split 按类型取分位数阈值，筛选候选形成 set-valued output。 3. 按拓扑顺序执行，controller 观察集合、节点类型、上下文与 cost，选择 ACCEPT、RETRY、EXPAND 或 ABORT。Retry 使用更高分辨率或不同参数，expand 添加局部工具，结束时输出 answer set 及可选单答案。 4. 联合 task、planning、certificate 与 controller objectives，离散 controller 用 policy gradient 权衡错误和计算成本。周期冻结 adversary 副本产生布局、crop、OCR noise 等 counterexamples，训练 student 并补充 calibration pools。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Fayyazi_Proof-of-Perception_Certified_Tool-Using_Multimodal_Reasoning_with_Compositional_Conformal_Guarantees_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Fayyazi_Proof-of-Perception_Certified_Tool-Using_Multimodal_Reasoning_with_Compositional_Conformal_Guarantees_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Fayyazi_Proof-of-Perception_Certified_Tool-Using_Multimodal_Reasoning_with_Compositional_Conformal_Guarantees_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Fayyazi_Proof-of-Perception_Certified_Tool-Using_Multimodal_Reasoning_with_Compositional_Conformal_Guarantees_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Fayyazi_Proof-of-Perception_Certified_Tool-Using_Multimodal_Reasoning_with_Compositional_Conformal_Guarantees_CVPR_2026_paper.pdf#page=6) 核读章节：Reasoning Graph Representation · Node-Level Predictions and Nonconformity Scores · Split CP for Node Certificates · Adaptive Controller for Computation Allocation · Self-Play Counterexample Mining · Training Objective · Inference Procedure 依据方法与推理过程整理。Coverage 的假设及有限候选限制是笔记分析，未将节点级校准写成无条件端到端保证。 ### REALM: An MLLM-Agent Framework for Open World 3D Reasoning Segmentation and Editing on Gaussian Splatting CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Shi_REALM_An_MLLM-Agent_Framework_for_Open_World_3D_Reasoning_Segmentation_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c97/) #### Idea REALM 在 3D Gaussian Splatting 上执行开放世界 reasoning segmentation，并将得到的 3D object mask 用于删除、替换和风格修改。其核心是 Global-to-Local Spatial Grounding：先通过多视点语言推理识别对象身份，再针对该对象生成局部视图细化 mask，无需为 MLLM 大规模做 3D-specific post-training。 #### Research Problem CLIP 查询或基础 open-vocabulary segmentation 能匹配类别名称，却难理解隐含用途、关系和上下文需求。MLLM 虽能对 2D 图像推理，直接输入少数渲染视图会对 viewpoint 极其敏感，并且其 2D 输出不能自动保持跨视角的 3D identity 一致性。 #### Insight 应将语义判断和三维一致性分别交给擅长的表示。MLLM 在渲染图上推理，稳定的 instance feature field 将这些判断绑定到同一批 Gaussians。全局视图投票降低单视角歧义，局部多视图优化则纠正粗分割边界，兼顾场景关系与目标细节。 #### Method 1. 先以 SAM 生成各视图 instance masks，通过 temporal propagation 关联跨视图身份。为 Gaussians 学习 instance features，将渲染 feature map 经 classifier 转成 2D ID map，以一致 instance labels 监督其优化。 2. LMSeg Agent 根据图像和隐式语言查询输出 bounding box、category、explanation。box 交给 SAM 得到 binary mask，再与 2D ID map 相交确定目标 instance ID。 3. 将训练 camera poses 做 K-means，选取覆盖 instance 数最多的代表视图作为 global cameras。分别运行 LMSeg 后用投票决定目标 ID，并由 classifier 提取该对象的 coarse 3D mask。 4. 选取可见目标的 local cameras 获取更细的 2D masks，用 differentiable rasterizer 渲染 coarse mask，并以 L1 alignment 优化局部 3D mask。论文在 LERF、3D-OVS 和新建 REALM3D 上评价显式与隐式指令，并展示基于对象定位的编辑。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Shi_REALM_An_MLLM-Agent_Framework_for_Open_World_3D_Reasoning_Segmentation_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Shi_REALM_An_MLLM-Agent_Framework_for_Open_World_3D_Reasoning_Segmentation_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Shi_REALM_An_MLLM-Agent_Framework_for_Open_World_3D_Reasoning_Segmentation_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Shi_REALM_An_MLLM-Agent_Framework_for_Open_World_3D_Reasoning_Segmentation_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Shi_REALM_An_MLLM-Agent_Framework_for_Open_World_3D_Reasoning_Segmentation_CVPR_2026_paper.pdf#page=6) · [PDF p. 7](https://openaccess.thecvf.com/content/CVPR2026/papers/Shi_REALM_An_MLLM-Agent_Framework_for_Open_World_3D_Reasoning_Segmentation_CVPR_2026_paper.pdf#page=7) 核读章节：3.1. 3D Feature Field for Reasoning · 3.2. MLLM-Based Visual Segmenter (LMSeg) · 3.3. Global-to-Local Spatial Grounding (Global) · 3.4. Global-to-Local Spatial Grounding (Local) · 4. Experiments 依据正文 instance field、视角选择、局部优化及编辑展示整理。正文对 segmentation 的算法说明最完整，编辑能力来自该定位结果的下游应用。 ### Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Jiang_Refer-Agent_A_Collaborative_Multi-Agent_System_with_Reasoning_and_Reflection_for_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c102/) #### Idea Refer-Agent 用无需微调的多 agent pipeline 完成 Referring Video Object Segmentation：先选择能说明用户意图的帧，再生成目标描述、定位 bounding boxes，最后调用视频分割模型传播 mask。核心是让 frame selection 和 intent reasoning 接收分阶段反思反馈，迭代修正中间错误。 #### Research Problem 大规模 SFT 将 MLLM 与 segmentation decoder 绑定，更新底模需要重新训练。已有 zero-shot 流程常只选一帧或均匀看所有帧，复杂因果指令可能引向事件结果而非目标对象，初始漏选或幻觉随 grounding 和 mask propagation 被放大。 #### Insight 是否选到了能看清目标的证据，与描述是否符合用户条件，是两类不同错误。分别检查 target existence 和 attribute consistency，可把反馈送回选帧或意图解析环节；让 keyframe 占更大视觉面积，则能在保留时序上下文时突出待定位目标。 #### Method 1. 把视频划成多个区间，每个区间选取 CLIP 与 query 最相近的帧以保证覆盖；MLLM 再评价目标可见性与代表性，联合 CLIP / MLLM 分数选 top-K 及 keyframe。 2. Dynamic Focus Layout 给 keyframe 更大、更高分辨率的区域，其他帧压缩为上下文，并依据 keyframe 时序位置选择布局。Intent agent 从布局与 query 产生每个目标简洁且可区分的描述。 3. Existence Reflection 由 Questioner–Responder 检查关键帧中的目标可见性、覆盖完整性和是否存在更佳帧；失败时生成具体反馈，指导下一轮重选。 4. Consistency Reflection 将 query 分解为高层类别、状态及低层外观、位置属性，通过多选问答检验被框目标；不一致则反馈给 intent reasoning。验证通过或达到轮数上限后，以目标框提示 SAM2 等模型生成并传播全视频 mask。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_Refer-Agent_A_Collaborative_Multi-Agent_System_with_Reasoning_and_Reflection_for_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_Refer-Agent_A_Collaborative_Multi-Agent_System_with_Reasoning_and_Reflection_for_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_Refer-Agent_A_Collaborative_Multi-Agent_System_with_Reasoning_and_Reflection_for_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Jiang_Refer-Agent_A_Collaborative_Multi-Agent_System_with_Reasoning_and_Reflection_for_CVPR_2026_paper.pdf#page=5) 核读章节：Step-by-step Reasoning Pipeline · Text-guided Frame Selection · Intent Analysis · Object Grounding and Segmentation · Chain-of-Reflection Mechanism 阅读完整 pipeline 与两阶段反思正文。zero-shot 指无需任务微调，系统仍调用已有 MLLM、CLIP 和 segmentation model。 ### RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wu_RetouchIQ_MLLM_Agents_for_Instruction-Based_Image_Retouching_with_Generalist_Reward_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c106/) #### Idea RetouchIQ 训练 MLLM 将审美指令映射为可执行 Lightroom 参数，并用 Generalist Reward Model（GRM）指导 RL。GRM 先针对原图和指令生成评价维度，再解释并输出标量评分，避免用同一组固定像素指标定义所有创意编辑目标。 #### Research Problem 一条暖色或秋日氛围指令可以对应多个合理结果，reference pixel similarity 会惩罚有价值的不同实现。只用人工编辑与随机参数扰动训练 reward model 也有分布缺口，因为真实 policy 往往同时调整多个相关参数，简单坏样本不代表它的实际错误。 #### Insight 评价标准应依赖当前意图，而评价器训练数据应贴近当前 policy 的输出。该方法将如何评价变为可生成的 reasoning，并以用户编辑优于较弱编辑的排序训练信号约束评分，再通过交替训练缓解静态 reward 对复杂编辑失准。 #### Method 1. 从真实 Lightroom 用户编辑历史收集 before/after image 与参数配置，用固定 MLLM 补注用户 goal 和操作 reasoning，过滤意图含糊或推理不一致样本，构建 instruction–reasoning–edit 数据。 2. 对 policy 做 autoregressive SFT，学习同时输出 reasoning 与结构化参数。RL 时采样候选配置，经 Lightroom runtime 实际执行，再把 before/after、指令送入 GRM，结合格式奖励优化编辑策略。 3. GRM 初始数据以用户结果为 strong edit，由 MLLM 指导扰动部分编辑配置生成 plausible weak edit，并过滤排序错误。SFT 学习生成 case-specific metrics、权重及两张结果的对应评分。 4. Policy-Guided Reward Training 将 weak edit 从人工扰动切换为 policy-generated output，用 strong score 高于 weak score 的排序奖励及格式奖励训练 GRM。Policy 与 reward model 交替更新，首次 reward RL 尚无 policy 时仍用扰动样本。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_RetouchIQ_MLLM_Agents_for_Instruction-Based_Image_Retouching_with_Generalist_Reward_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_RetouchIQ_MLLM_Agents_for_Instruction-Based_Image_Retouching_with_Generalist_Reward_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_RetouchIQ_MLLM_Agents_for_Instruction-Based_Image_Retouching_with_Generalist_Reward_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_RetouchIQ_MLLM_Agents_for_Instruction-Based_Image_Retouching_with_Generalist_Reward_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_RetouchIQ_MLLM_Agents_for_Instruction-Based_Image_Retouching_with_Generalist_Reward_CVPR_2026_paper.pdf#page=6) 核读章节：Data Preparation · Supervised Fine-Tuning Stage · Reinforcement Learning Stage · Generalist Reward Model · Policy-Guided Reward Training (PGRT) in RL 依据完整 policy/GRM 训练流程整理。Strong/weak 排序是作者的数据监督假设，并非证明所有用户原编辑始终最优。 ### REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Li_REVISOR_Beyond_Textual_Reflection_Towards_Multimodal_Introspective_Reasoning_in_Long-Form_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c98/) #### Idea REVISOR 把长视频 reflection 改成可重新获取视觉证据的两阶段推理。模型先看稀疏帧并提出需要复查的时间区间，再由 Visual Toolbox 密集抽取该区间，结合初始 reasoning 修正答案。Dual Attribution Decoupled Reward（DADR）同时训练最终回答与所选片段的证据充分性。 #### Research Problem 文本 reflection 只能重写已有解释，无法补回稀疏视频采样遗漏的动作或细节。作者发现 VL-Rethinker 式反思在长视频上可能退化，而提供 ground-truth key segments 能提升回答。只用 final-answer reward 又无法区分错误来自初始推理、时间定位还是反思阶段，因此可能奖励不相关的回看区间。 #### Insight 有效反思需要允许模型改变它看到的证据，而不只改变文字。把片段单独交给同一模型重新回答，可提供区别于完整轨迹答案的 sufficiency signal，从而直接激励选择含关键信息的区间。这个信号检验片段是否足以答题，不等价于严格证明完整推理对该片段的因果依赖。 #### Method 1. 对原视频做 sparse uniform frame sampling。MLLM 读取 question 和初始帧，生成初始 reasoning trace，并输出待复查区间的 start/end timestamps。 2. Visual Toolbox 只在该时间区间做更高密度抽帧，避免对整部长视频都使用高时间分辨率。reflection 阶段输入问题、初始 reasoning 和新帧，输出修正 reasoning 与最终答案。 3. 训练时对完整两阶段 trajectory 做 final-answer verification，同时另开 sufficiency prediction：同一 MLLM 只读取 question 和 reviewed frames，不读取初始 reasoning，判断能否独立生成正确答案。 4. 把两类 binary correctness rewards 加权组成 DADR，再用 GRPO 进行 end-to-end RL，不需要额外 SFT 或外部模型。借助文本反思、纯答案奖励和已标注关键片段等对照检查视觉回看的贡献。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_REVISOR_Beyond_Textual_Reflection_Towards_Multimodal_Introspective_Reasoning_in_Long-Form_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_REVISOR_Beyond_Textual_Reflection_Towards_Multimodal_Introspective_Reasoning_in_Long-Form_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_REVISOR_Beyond_Textual_Reflection_Towards_Multimodal_Introspective_Reasoning_in_Long-Form_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_REVISOR_Beyond_Textual_Reflection_Towards_Multimodal_Introspective_Reasoning_in_Long-Form_CVPR_2026_paper.pdf#page=5) 核读章节：2. Motivation · 3.1. Tool-Augmented Multimodal Reflection · 3.2. Dual Attribution Decoupled Reward 依据正文动机实验和 DADR 定义整理。作者使用 causal segment sufficiency 命名奖励；本笔记明确区分证据充分性测试与严格因果证明。 ### See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Park_See_and_Fix_the_Flaws_Enabling_VLMs_and_Diffusion_Models_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c120/) #### Idea ArtiAgent 从真实图像主动合成 structural visual artifacts，同时产生有缺陷与无缺陷的成对数据和局部解释。三个 agent 负责语义定位、借助 DiT 操作注入缺陷、过滤并标注结果，使模型学习多指、缺失、扭曲和物体融合等仍具逼真纹理的结构错误。 #### Research Problem 以往 artifact 数据依赖昂贵人工标注，许多样本侧重噪声、模糊等早期生成模型失真。现代图像可在像素层面逼真而违反物体结构常识，直接让 VLM 判断也不够稳定，因此需要可控注入、已知位置且覆盖多类型的训练来源。 #### Insight 真实图像提供正常结构参照，target–reference patch mapping 把“改什么、改哪里”显式化。在 DiT 中同时改变位置编码与 value，分别控制空间位置解释和填充的语义内容；成对原图还能帮助筛选器确认改动及解释，而非凭单图猜测。 #### Method 1. Perception agent 生成 entity–subentity 层级词表，区分外围部件和中间主体，调用 Grounded-SAM 得到 masks，再用包含重叠关系关联部件与父实体。 2. Synthesis agent 为 add、remove、distort、fuse 选择 target / reference patches：添加或移除外围部件，重排主体 patches，或在重叠实体之间混合局部内容。 3. 先 inversion 原图并缓存各层 value，denoising 时用 reference 的 RoPE 位置及缓存 value 替换 target 表示，背景沿用原位置和原内容。注入仅在早中层且避开最后 denoising steps，以减少明显边界捷径。 4. Curation 对 distortion 用 LPIPS 区间过滤，对其余类型用原始上下文、原 crop、修改 crop 三元组核验。随后生成局部及全局解释，构建 50K 成对样本，并以独立人工标注 ArtiBench 检验 detection、localization、explanation。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Park_See_and_Fix_the_Flaws_Enabling_VLMs_and_Diffusion_Models_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Park_See_and_Fix_the_Flaws_Enabling_VLMs_and_Diffusion_Models_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Park_See_and_Fix_the_Flaws_Enabling_VLMs_and_Diffusion_Models_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Park_See_and_Fix_the_Flaws_Enabling_VLMs_and_Diffusion_Models_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Park_See_and_Fix_the_Flaws_Enabling_VLMs_and_Diffusion_Models_CVPR_2026_paper.pdf#page=6) 核读章节：Understanding Visual Artifacts · Agentic Pipeline for Artifact Synthesis · Perception Agent · Synthesis Agent · Inversion-Injection Method for Artifact Synthesis · Curation Agent · ArtiBench: Artifact Detection Benchmark 依据正文实体分解、attention 注入与数据筛选设计整理；公式局部字符存在抽取乱码，但相邻文字明确说明了 PE / value 操作。 ### See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wu_See_Further_Think_Deeper_Advancing_VLMs_Reasoning_Ability_with_Low-level_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c117/) #### Idea ForeSight 让 VLM 在推理中主动调用 Canny、Zoom-In 和 Color tools，并用预测目标区域被遮挡后的图像进行 visual reflection。其任务以 Odd-One-Out 的位置和区别属性为核心，既要求找到异常物体，也要说明异常来自颜色、方向、形状等哪种低层特征。 #### Research Problem 纯语言 reasoning 容易忽略细粒度边缘、色彩和局部结构，单纯延长 CoT 不会自动补足视觉输入。现有文本式自检还可能重复原判断，缺少能反驳当前 grounding 的新视觉证据，因此需要把感知补充和答案验证都纳入交互流程。 #### Insight 若当前 bounding box 真正遮住唯一异常物体，剩余画面应不再出现对应显著差异。Mask feedback 因而把验证变成可观察的反事实检查。这个逻辑依托 Odd-One-Out 任务结构，不能直接等同于适用于任意开放视觉问题的正确性判据。 #### Method 1. 扩展 SalBench 为 CG-SalBench，为自然与合成图像提供异常物体 bbox 与 character labels。模型读取问题和图像，自主选择直接回答，或调用低层工具后继续交错图文推理。 2. Canny 提供轮廓边界，Zoom-In 放大目标区域，Color 放大颜色差异。生成 draft answer 后遮挡其预测区域，把 masked image、旧 bbox 与旧属性送回模型；若仍发现异常就修正，实验最多两次 reflection。 3. 构建 V2-CoT cold-start 数据，以小模型无工具表现和较大模型工具收益划分 tool-free/tool-dependent 样本，用 Qwen2.5-VL-72B 生成含工具与反思的轨迹，规则清理并平衡后做 SFT。 4. GRPO reward 结合格式、bbox IoU、属性 F1、正确且不过量的工具使用，以及 verify/draft/final 与 ground truth 的一致性。Verification reward 要求正确 draft 被保留、错误 draft 被识别并修正，训练选择工具和复查的策略。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Further_Think_Deeper_Advancing_VLMs_Reasoning_Ability_with_Low-level_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Further_Think_Deeper_Advancing_VLMs_Reasoning_Ability_with_Low-level_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Further_Think_Deeper_Advancing_VLMs_Reasoning_Ability_with_Low-level_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Further_Think_Deeper_Advancing_VLMs_Reasoning_Ability_with_Low-level_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Further_Think_Deeper_Advancing_VLMs_Reasoning_Ability_with_Low-level_CVPR_2026_paper.pdf#page=6) 核读章节：CG-SalBench · ForeSight · Visual Tools and Visual Reflection · V2-CoT Data Construction for Cold Start · Reinforcement Learning for V2-CoT 依据正文工具、mask equation 与完整 reward 设计整理，未沿用摘要中仅最终答案奖励的简化说法；反事实验证适用范围为笔记分析。 ### Seeing as Experts Do: A Knowledge-Augmented Agent for Open-Set Fine-Grained Visual Understanding CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chen_Seeing_as_Experts_Do_A_Knowledge-Augmented_Agent_for_Open-Set_Fine-Grained_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c122/) #### Idea KFRA 将 fine-grained recognition 扩展为 knowledge-augmented reasoning：先生成开放类别假设，再查找其辨别性知识，把知识落实到图像区域，最后跨对象整合证据回答。贡献同时包括用于六类细粒度理解任务的 FGExpertBench，使评测超出单标签分类。 #### Research Problem 固定 taxonomy 的分类器不能覆盖开放类别，也难回答性别、行为、用途或多个相似对象间的关系。通用搜索 Agent 虽可获得知识，若检索和推理相互独立，就可能只根据类别描述作答，未确认该特征是否真实出现在当前图像中。现有 fine-grained benchmarks 对属性、动作与专家知识推理覆盖不足。 #### Insight 细粒度知识的价值在于指出应观察什么。把检索结果拆成可定位的 morphology、color 或 behavior cues，可由视觉证据支持或否定类别假设。全局到局部观察和证据置信度反馈使检索、grounding 与推理形成可修正的循环，无需为每个细分类别重训模型。 #### Method 1. 用 Grounding-DINO 检测实体，通过 Google Lens 获取相似图像及描述，MLLM 为每个对象生成带置信度的候选类别，建立开放的 hypothesis space。 2. 从 Wikipedia 等文本知识中提取每个候选的 discriminative attributes。基于 VisionReasoner 的 focusing module 先用语义相似度粗定位，再以 patch-level attention 细化区域。 3. 若特征定位置信度不足，用 OseDiff 增强最相关区域并重新定位。把候选类别、知识、属性、masks 与置信度组成 evidence tuples，交给 MLLM 联合推理，低置信度结果触发前序阶段重试。 4. FGExpertBench 从既有细粒度类别和网络图像出发，经 GPT-4o 识别相关专业领域、专家校正知识范围并审核 QA，构建 300 张图像和 1500 个问题，覆盖识别、属性、动作、计数、分析和知识推断。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Seeing_as_Experts_Do_A_Knowledge-Augmented_Agent_for_Open-Set_Fine-Grained_CVPR_2026_paper.pdf#page=1) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Seeing_as_Experts_Do_A_Knowledge-Augmented_Agent_for_Open-Set_Fine-Grained_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Seeing_as_Experts_Do_A_Knowledge-Augmented_Agent_for_Open-Set_Fine-Grained_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Seeing_as_Experts_Do_A_Knowledge-Augmented_Agent_for_Open-Set_Fine-Grained_CVPR_2026_paper.pdf#page=6) 核读章节：3.1. Benchmark Construction · 3.2. Model Architecture · 4.1. Experimental Setting 依据正文 benchmark pipeline、工具构成和 retrieval-grounding coupling 整理。超分辨率模块用于增强局部输入，不应把生成出的细节自动视作独立事实证据。 ### SenseSearch: Empowering Vision-Language Models with High-Resolution Agentic Search-Reasoning via Reinforcement Learning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chng_SenseSearch_Empowering_Vision-Language_Models_with_High-Resolution_Agentic_Search-Reasoning_via_Reinforcement_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c124/) #### Idea SenseSearch 在同一 agentic VLM 中协调 text search、reverse image search 和 image crop，让高分辨率细节识别与外部知识查询相互驱动。它以少量完整交互轨迹建立 cold start，再用 Batch-Normalized GSPO 训练多轮搜索推理，不固定三种工具的调用顺序。 #### Research Problem 已有搜索 VLM 侧重整图实体和知识，容易遗漏小 logo、局部文字等证据；只会 crop 的模型又无法获得外部事实。多工具轨迹在长度、难度和 reward 上异质，训练时可能造成更新尺度不稳定，也缺乏同时考察细节与知识的 benchmark。 #### Insight 视觉与知识缺口会在交互中改变：crop 可先识别细小实体以形成有效文本查询，image search 可补充未知身份再引导检索。因此需要优化完整交互序列，使不同问题的 advantage 尺度可比较，最终答案和协议有效性共同监督这一过程。 #### Method 1. 状态包含初始 query、原图及全部历史 reasoning、tool calls 和返回文本/图像；每轮先推理再执行一种工具，或给最终答案，超过轮数上限仍无有效答案则算失败。 2. 整合 FVQA、Pixel-Reasoner warm-start 和专家 QA；以 Qwen2.5-VL-7B 八次 rollout 至多答对一次筛选 hard samples，用 Gemini 合成工具轨迹，GPT-4o 检验格式、逻辑和答案，留下约 3K SFT 样本。 3. RL 混合 factual QA 与高分辨率视觉数据，同题采样成组轨迹，先组内标准化 reward，再在 optimizer minibatch 上标准化 advantage；以长度归一的 sequence importance ratio 进行 clipped GSPO 更新，并加 reference-policy KL。 4. 总 reward 为 LLM judge 的答案语义一致性加 format compliance，要求非终止轮有 reasoning 和一个合法 JSON tool call。另构建 HR-MMSearch，将细节观察与搜索型问题联合纳入评价。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chng_SenseSearch_Empowering_Vision-Language_Models_with_High-Resolution_Agentic_Search-Reasoning_via_Reinforcement_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Chng_SenseSearch_Empowering_Vision-Language_Models_with_High-Resolution_Agentic_Search-Reasoning_via_Reinforcement_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chng_SenseSearch_Empowering_Vision-Language_Models_with_High-Resolution_Agentic_Search-Reasoning_via_Reinforcement_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chng_SenseSearch_Empowering_Vision-Language_Models_with_High-Resolution_Agentic_Search-Reasoning_via_Reinforcement_CVPR_2026_paper.pdf#page=5) 核读章节：Problem Formulation · Reinforcement Learning with Cold-start · BN-GSPO for RL · Reward Modeling · Training Dataset Collection 读取正文状态动作、完整 BN-GSPO 公式和数据收集流程；关于两次归一化的稳定作用为作者设计动机，不据此声称理论保证。 ### SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chen_SpaceTools_Tool-Augmented_Spatial_Reasoning_via_Double_Interactive_RL_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c127/) #### Idea SpaceTools 用 Double Interactive Reinforcement Learning（DIRL）学习多种视觉与机器人工具的组合。先让只会一个 pointing tool 的 RL specialist 和能访问全部工具的 frontier teacher 提供互补示范，再让学生通过真实多轮工具交互优化 spatial reasoning。 #### Research Problem VLM 的定性识别能力不等于 metrically precise spatial reasoning。固定 prompting 或预设 pipeline 限制工具组合适应性，而同时开放十余种工具会让 naive RL 的动作空间迅速扩大、有效奖励稀疏。仅做工具轨迹 SFT 又难超越示范中的协调方式。 #### Insight 单工具 RL 能在较小搜索空间学到可靠的 grounded reasoning，通用 teacher 补足工具广度。二者先提供可探索的初始策略，再让 full-tool RL 发现更好的组合，分别处理探索起点和策略改进问题。Toolshed 提供实际状态相关反馈，是这种训练可执行的基础。 #### Method 1. Teaching phase 先训练 base VLM 只用 pointing tool 解决空间关系、兼容性与相对深度任务，再从其成功行为收集 demonstrations；同时让 frontier teacher 使用全部视觉和机器人工具，只保留正确轨迹。 2. 按 single-tool teacher 与 universal teacher 的 1:3 比例合并 SFT 数据。学生输出 think、tool_call、answer，多次工具执行及图像结果追加到 history，学会多轮对话和初步组合。 3. Exploration phase 从 SFT policy 出发开放全部工具，用异步 rollouts 和带 KL regularization 的 GRPO 优化。Toolshed 隔离各工具资源与环境，通过并行 workers 独立扩容 segmentation、depth、3D box、grasp 等重工具。 4. 最终奖励按任务采用选择题正确性、box MIoU、pointing distance、pose 投影角点区域 IoU 与 grasp contact error。正文明确去掉无收益的格式奖励，重点监督 final answer 的几何一致性。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_SpaceTools_Tool-Augmented_Spatial_Reasoning_via_Double_Interactive_RL_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_SpaceTools_Tool-Augmented_Spatial_Reasoning_via_Double_Interactive_RL_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_SpaceTools_Tool-Augmented_Spatial_Reasoning_via_Double_Interactive_RL_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_SpaceTools_Tool-Augmented_Spatial_Reasoning_via_Double_Interactive_RL_CVPR_2026_paper.pdf#page=5) 核读章节：Problem Formulation · Double Interactive Reinforcement Learning · DIRL · Toolshed · Rewards 依据正文方法、算法与实现设置整理，机制解释沿用作者论证。 ### Thinking with Programming Vision: Towards a Unified View for Thinking with Images CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Guo_Thinking_with_Programming_Vision_Towards_a_Unified_View_for_Thinking_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c136/) #### Idea CodeVision 以可执行 code 统一 visual tool use，允许模型组合图像操作、读取运行错误并修复程序。论文以 rotation/flip 后的图像理解脆弱性建立工具必要性，再通过针对性 SFT 和带过程监督的 RL 训练多轮策略，扩展只反复 crop 的固定工具范式。 #### Research Problem 已有 thinking-with-images 方法常依赖固定工具注册表，改名或参数变化就可能影响调用，且主要评测重复 crop。部分基准上 RL 不用工具也能获得接近收益，难证明工具的必要性。作者发现方向变化显著损害 OCR 与视觉推理，同时观察到 RL 中无效调用、奖励投机及错误恢复不足。 #### Insight 通用代码接口能表达工具组合，但仅扩大接口并不会教会策略何时调用。通过可验证的 image transformations 明确任务前提，再配合成功结果、工具必要性和成本约束，才能把语法学习、有效探索与高效执行连接起来。运行日志也可作为可学习的反馈，而不是直接终止轨迹。 #### Method 1. 构建约 6000 个 cold-start trajectories，覆盖 single-tool、multi-tool、multi-crop、error-handling 和 no-tool。用 metadata 预设变换和需求，GPT-5 生成操作后实际执行，对照 canonical image 验证，错误样本提供日志后允许修正。 2. SFT 采用交错的输入、assistant reasoning/code 和工具返回。只对 assistant tokens 计算 loss，工具返回使用数据构造时缓存的执行结果。 3. 构造约 40K RL 样本，过滤 rollout 全对或全错的低信息案例，并记录 must-use tools 及 crop target boxes。GRPO reward 包含答案/格式、首次正确方向操作、crop IoU 改善、正确工具顺序和有效 optional tools bonus。 4. Optional tool 的收益通过同题 rollouts 中使用与未使用该工具的准确率差估计。额外惩罚超过必要轮数、答对但 crop 与目标 IoU 极低、以及无工具需求时仍调整方向等行为，抑制为过程奖励反复调用。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Guo_Thinking_with_Programming_Vision_Towards_a_Unified_View_for_Thinking_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Guo_Thinking_with_Programming_Vision_Towards_a_Unified_View_for_Thinking_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Guo_Thinking_with_Programming_Vision_Towards_a_Unified_View_for_Thinking_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Guo_Thinking_with_Programming_Vision_Towards_a_Unified_View_for_Thinking_CVPR_2026_paper.pdf#page=5) 核读章节：3.1. Overview · 3.2. Cold Start · 3.3. Reinforcement Learning · 4.1. Implementation Details 依据正文数据构造、masked SFT 和多项 reward 整理。optional-tool reward 来自分组 rollout 的经验差异，本文未把它提升为严格因果效应。 ### Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhang_Thinking_With_Videos_Multimodal_Tool-Augmented_Reinforcement_Learning_for_Long_Video_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c134/) #### Idea VITAL（Video Intelligence via Tool-Augmented Learning）在视频推理链中插入按时间区间密集取帧的工具操作，使模型可再次观看回答所需证据。它联合训练 video QA、temporal grounding 和 grounded VQA，并用 Difficulty-aware GRPO 处理任务之间与样本之间的难度差异。 #### Research Problem 纯文本 CoT 反复加工初次稀疏采样的信息，无法补回未看到的短暂事件，链越长也可能积累幻觉。多任务训练中，短视频多选题 reward 很快提高，而长视频的连续 IoU 信号改善慢；后期容易样本占比升高，又限制进一步优化。 #### Insight 定位能力决定应该重新观看哪里，QA 能力决定局部证据应支持什么判断，因此两者可共享训练信号。工具取回真实的新帧解除固定输入的信息瓶颈，而按任务校准 IoU、按 rollout 难度调整样本权重，试图避免易任务主导学习。 #### Method 1. 每轮模型根据原视频、问题及累积历史生成 think 和 tool_call 或 answer。Parser 检查调用，video clipping 工具按 start / end time 返回密集帧序列，执行错误也回传，直到模型回答。 2. 从多种视频数据构建 MTVR-CoT-72K 和 MTVR-RL-110K，涵盖 VTG、VQA 和同时预测答案与时间段的 grounded VQA。用八次 rollout 剔除全对、全错样本，再由强 reasoning MLLM 生成推理轨迹。 3. 长视频定位轨迹对 GT 时间区间施加 20% 扰动后构造工具调用，长视频 QA 则由教师自主选区间。先学习基础视频推理，再引入含工具的多轮子集。 4. DGRPO reward 包括任务 accuracy、严格格式及至少一次成功调用的 bonus。定位 IoU 先按任务参数线性缩放并截断，随后按同题 rollout 平均 reward 估计难度，以 0.5 至 1 的权重调整样本，再实施 GRPO 优化。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_Thinking_With_Videos_Multimodal_Tool-Augmented_Reinforcement_Learning_for_Long_Video_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_Thinking_With_Videos_Multimodal_Tool-Augmented_Reinforcement_Learning_for_Long_Video_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_Thinking_With_Videos_Multimodal_Tool-Augmented_Reinforcement_Learning_for_Long_Video_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_Thinking_With_Videos_Multimodal_Tool-Augmented_Reinforcement_Learning_for_Long_Video_CVPR_2026_paper.pdf#page=5) 核读章节：Tool-Augmented Learning Framework · Multi-Task Video Reasoning Training Data · Difficulty-aware GRPO Training · Algorithm 1 Difficulty-aware Reward Calculation 依据完整方法、数据生成流程和算法整理；任务互益与训练稳定性为作者经验结论，未改写成一般性保证。 ### VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yin_VideoARM_Agentic_Reasoning_over_Hierarchical_Memory_for_Long-Form_Video_Understanding_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c150/) #### Idea VideoARM 将按需视频观察和 hierarchical multimodal memory 的构建放在同一 observe–think–act–memorize 循环。Controller 从全局粗观察逐步缩小范围，调用视觉或音频工具，并把刚获得的证据与操作意图写入不同 memory tiers。 #### Research Problem VideoTree 等方法依赖固定推理流程，DVD 等先穷尽处理 clips 再查询，长视频上会为当前问题不需要的内容支付大量 token。只保存文字摘要也容易丢失细节，问题相关证据无法随着探索被及时组织和重新查看。 #### Insight 记忆应随问题驱动的感知过程形成，并区分原始感知、工具结果和推理意图。这样可以保留可追溯证据而清理临时上下文，同时让大范围探索和局部验证各用适合的分辨率，避免用同一尺度处理整段视频。 #### Method 1. HM3 的 Sensory Memory 保存当前范围的 long-term perception pool 与局部探索的 short-term pool；Result Memory 保存迭代编号、frame interval、工具输出；Working Memory 保存调用前的 reasoning trace 和目的。 2. Interval Localizer 决定全局关注区间及采样数量，将帧按 3×2 带索引网格存入长期池。Clip Explorer 不改变全局范围，只采样局部细帧与对应音频到短期池，供快速验证。 3. Scene Snapper 描述长期池场景，Clip Analyzer 根据局部帧和 sub-question 返回答案及 confidence，Audio Transcriber 用 whisper-1 补充听觉证据。结果写回后清空短期感知池。 4. Controller 阅读三层记忆，提出缺少什么证据及下一工具参数，执行、记录、更新假设，选择 ANSWER 或耗尽 step budget 后作答。实现用 o3 管理控制与范围、GPT-4.1/GPT-4o 感知，预算为 10 步，无参数训练。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yin_VideoARM_Agentic_Reasoning_over_Hierarchical_Memory_for_Long-Form_Video_Understanding_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yin_VideoARM_Agentic_Reasoning_over_Hierarchical_Memory_for_Long-Form_Video_Understanding_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yin_VideoARM_Agentic_Reasoning_over_Hierarchical_Memory_for_Long-Form_Video_Understanding_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yin_VideoARM_Agentic_Reasoning_over_Hierarchical_Memory_for_Long-Form_Video_Understanding_CVPR_2026_paper.pdf#page=5) 核读章节：Overview · Hierarchical and Multimodal Memory · Coarse-to-Fine Video Reasoning Agent · Multimodal Toolsets · Controller 依据正文方法、算法与实现设置整理，机制解释沿用作者论证。 ### VideoChat-M1: Collaborative Policy Planning for Video Understanding via Multi-Agent Reinforcement Learning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chen_VideoChat-M1_Collaborative_Policy_Planning_for_Video_Understanding_via_Multi-Agent_Reinforcement_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c152/) #### Idea VideoChat-M1 通过 Collaborative Policy Planning（CPP）让多个 agents 各自产生视频工具调用计划，在执行过程中共享发现并修改后续策略，再用 multi-agent RL 训练这种协作。系统优化的对象既包括答对视频问题，也包括计划可行性、工具适当性和中间步骤组织。 #### Research Problem 固定或不可训练的 video-agent pipelines 容易从同一种线索获取路径理解视频，难覆盖长时序因果、细粒度定位和空间结构。即使初始计划不合适，缺少执行中通信的系统仍会照原顺序调用工具。只评估最后答案也无法给计划修改和团队协作提供足够反馈。 #### Insight 不同初始工具策略提供互补探索，而共享中间证据使每个 agent 可以保留自己的方向同时吸收同伴信息。协作并不只是最终投票，它应改变尚未执行的动作。把 shared-memory 中的完整过程纳入奖励，能训练动态而非固定的分工。 #### Method 1. 每个 policy agent 根据 query 和 tool descriptions 生成有序 plan，工具包括 global sampling、video/image retrieval、粗细浏览、temporal grounding 与 spatial analysis 等。随后逐步执行，并记录各步工具结果与临时答案。 2. 每次执行后将计划、线索和回答放入 shared memory，agent 结合团队信息决定继续原计划还是修改后续步骤。选择题最终 majority vote，开放回答和时间定位由组内表现最好的指定 agent 汇总。 3. SFT 数据由 GPT-4o 与 DeepSeek-R1 组成的 CPP 团队标注，只保留答案正确且无需中途修改即可执行成功的 initial plans，以 cross-entropy 训练各 policy agents。 4. MARL 使用 GRPO，reward 组合结果、可执行格式与 collaboration quality。GPT-4o 对 trajectory 的计划可行性、工具合理性和步骤管理给 binary score，并强惩罚超过五次 tool calls 的轨迹，训练时加入 reference KL 约束。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_VideoChat-M1_Collaborative_Policy_Planning_for_Video_Understanding_via_Multi-Agent_Reinforcement_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_VideoChat-M1_Collaborative_Policy_Planning_for_Video_Understanding_via_Multi-Agent_Reinforcement_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_VideoChat-M1_Collaborative_Policy_Planning_for_Video_Understanding_via_Multi-Agent_Reinforcement_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_VideoChat-M1_Collaborative_Policy_Planning_for_Video_Understanding_via_Multi-Agent_Reinforcement_CVPR_2026_paper.pdf#page=5) 核读章节：3.1. Collaborative Policy Planning Pipeline (CPP) · 3.2.1. Policy SFT · 3.2.2. MARL 依据正文 CPP 状态流和训练公式整理。collaboration reward 是外部 LLM 对过程的判断，最终效果另外通过视频理解 benchmark 检验。 ### VideoSeek: Long-Horizon Video Agent with Tool-Guided Seeking CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Lin_VideoSeek_Long-Horizon_Video_Agent_with_Tool-Guided_Seeking_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c153/) #### Idea VideoSeek 将长视频理解变成 query-aware evidence seeking，由 thinking LLM 沿视频情节和因果线索选择 overview、skim、focus 三种观察尺度。系统按当前未解决的问题主动跳转区间，累计少量有用观察后回答，而无需先为所有密集视频帧建立完整解析数据库。 #### Research Problem 许多视频 agent 的后端仍要密集扫描整段视频或预建昂贵数据库，交互形式没有消除主要视觉处理成本。单次均匀取帧又可能错过关键细节。长程推理需要在全局结构、候选区间与短时关键事件之间持续决定下一步观察位置。 #### Insight 视频中的逻辑关系可以充当搜索约束：先知道大致故事，再利用已见事件推断答案可能出现的时段，只有临近关键证据时才提高采样密度。因此节省帧的来源是利用积累信息决定观察位置和粒度，而非简单降低所有片段的分辨率。 #### Method 1. overview 在全视频均匀采样固定数量帧并生成简短 storyline，为人物、地点和候选时段提供粗略地图；默认实现按预算参数 α 取 16α 帧。 2. skim 接收较长候选区间与子问题，采样 4α 帧形成低成本观察；focus 对短片段按 1 FPS 检查文字、身份、数量或短暂动作，时长上限为 4α 秒。 3. ReAct 式 thinking model 读取原问题与全部 thought–action–observation 历史，决定继续调用观察工具还是 answer；返回结果持续追加，必要时对多个区间反复 skim 或 focus。 4. 默认 GPT-5 同时承担规划推理及工具视觉解读，最多交互 20 轮。若仍无答案，追加直接回答指令，基于已收集证据生成结果；实验同时测视频 QA accuracy 与 viewed frames，并比较底模和工具组合。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_VideoSeek_Long-Horizon_Video_Agent_with_Tool-Guided_Seeking_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_VideoSeek_Long-Horizon_Video_Agent_with_Tool-Guided_Seeking_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_VideoSeek_Long-Horizon_Video_Agent_with_Tool-Guided_Seeking_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Lin_VideoSeek_Long-Horizon_Video_Agent_with_Tool-Guided_Seeking_CVPR_2026_paper.pdf#page=5) 核读章节：Problem Formulation · Toolkit Design · Agentic Workflow of VideoSeek · Algorithm 1 VideoSeek Agent Workflow · Experimental Setting 读取工具定义、完整停止逻辑和实现参数。该方法是推理时 agent workflow，正文方法未包含新的 policy training。 ### Vinedresser3D: Towards Agentic Text-guided 3D Editing CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chi_Vinedresser3D_Towards_Agentic_Text-guided_3D_Editing_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c155/) #### Idea Vinedresser3D 用 MLLM 把自然语言编辑指令转成分解后的文本、参考图与自动 3D mask，再在 Trellis 原生 3D latent space 中执行局部 inversion-inpainting。Agent 负责语义理解、部位选择和观察视角，生成模型负责几何与外观的一致修改。 #### Research Problem Text-guided 3D editing 需要同时理解复杂指令、定位编辑区并保留其他内容。逐视角二维编辑后重建容易出现多视图不一致和遮挡信息丢失，人工 3D mask 又增加使用成本。仅用 Trellis-text 细节不足，仅用 Trellis-image 则难控制不可见区域。 #### Insight 结构与外观、全体资产与目标部件应分别描述，使语言约束与两阶段 3D generator 对齐。图像提供具体外观细节，文字补充完整语义，两者交替引导 native 3D denoising，再借原资产 inversion trajectory 固定保留区域，可以减少跨视图重建的不一致。 #### Method 1. 从多视图渲染让 MLLM 描述原资产、识别目标部件与 addition/modification/deletion 类型，生成保留无关语义的新描述，并进一步拆成 Stage 1 geometry 与 Stage 2 appearance guidance。选择目标最清晰的视角，用 Nano Banana 编辑得到 image guidance。 2. 对 modification/deletion 用多个粒度的 PartField segmentation，让 MLLM 从带颜色的多视图选目标部件。Addition 允许原资产外的 voxels，deletion 只选目标部件；modification 根据保留部件包围盒与空 voxel 的 KNN 邻居归属扩展编辑区域。 3. 用 RF-Solver 对 Trellis 的 sparse structure 与 SLAT features 做高精度 inversion，实验以 CFG=0 稳定重建。随后 mask-guided denoising 每一步用原 inversion 轨迹替换保留区域 latent。 4. Interleaved Trellis module 交替执行 text-conditioned 与 image-conditioned flow timestep。Stage 1 下采样 mask，Stage 2 在边界用 distance-based soft blending；删除任务跳过 Stage 1，移除目标 voxels 后用 Stage 2 平滑边界。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chi_Vinedresser3D_Towards_Agentic_Text-guided_3D_Editing_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Chi_Vinedresser3D_Towards_Agentic_Text-guided_3D_Editing_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chi_Vinedresser3D_Towards_Agentic_Text-guided_3D_Editing_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chi_Vinedresser3D_Towards_Agentic_Text-guided_3D_Editing_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Chi_Vinedresser3D_Towards_Agentic_Text-guided_3D_Editing_CVPR_2026_paper.pdf#page=6) 核读章节：Multi-modal Guidance Generation · Detect editing region · Inversion-Based 3D Editing 依据正文 3D mask 分类规则、Trellis 两阶段与 interleaved sampling 整理。Mask-free 指无需用户手工提供 mask，内部仍明确计算 3D mask。 ### ViRC: Enhancing Visual Interleaved Mathematical CoT with Reason Chunking CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wang_ViRC_Enhancing_Visual_Interleaved_Mathematical_CoT_with_Reason_Chunking_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c149/) #### Idea ViRC 用 Reason Chunking 把视觉数学推理划为 Critical Reasoning Units（CRUs）。每个单元包含支持一个中间命题的视觉信息及若干连贯文本步骤，单元之间按需调用 crop、scale、display，兼顾持续看图与推理结构。论文同时构建 CRUX 数据并设计三阶段训练课程。 #### Research Problem 单张静态图像加 text-only CoT 容易在长链中丢失图形细节和中间目标，而每一步都插入视觉信息又产生冗余。常见 answer-only reward 难给中间命题与工具选择分配信用，逐步密集评分则可能引入噪声，缺少合适的语义训练单元。 #### Insight 一次完整中间命题通常需要多个文字步骤，却未必需要重复获取视觉输入。以命题为单位组织推理，能让视觉调用发生在证据需求变化的位置，并把 reward 对准具备局部语义完整性的 reasoning chunk，连接结构学习、视觉 grounding 与策略优化。 #### Method 1. 从 54K 数学问题重新生成不同图像尺度下的正确和错误 reasoning paths，选取用于构造的长路径，将细粒度步骤按中间命题分组，形成约 100K CRUX instances。 2. 为每个 CRU 定位 focal object 和 reference text，合并 bounding boxes 作为支持区域，补充 image description、solution rationale 与跨单元 guiding questions。通过 crop、display 和 scale edits 实现 Planning、Reflecting、Verifying、Backtracking patterns。 3. Instructional SFT 在 50K 子集上屏蔽工具返回的视觉信号，先学习 CRU 格式；Practice SFT 用同一子集的完整 multimodal form 执行工具，并将视觉返回供当前 CRU 推理。 4. Strategic RL 从困难历史状态采样完整 CRU 或最终答案，以 GRPO 优化。奖励包含答案正确性、judge 评估的文字连贯性与视觉相关性、tool-pattern 对齐和格式惩罚，工具返回 observation tokens 不参与梯度。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_ViRC_Enhancing_Visual_Interleaved_Mathematical_CoT_with_Reason_Chunking_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_ViRC_Enhancing_Visual_Interleaved_Mathematical_CoT_with_Reason_Chunking_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_ViRC_Enhancing_Visual_Interleaved_Mathematical_CoT_with_Reason_Chunking_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_ViRC_Enhancing_Visual_Interleaved_Mathematical_CoT_with_Reason_Chunking_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_ViRC_Enhancing_Visual_Interleaved_Mathematical_CoT_with_Reason_Chunking_CVPR_2026_paper.pdf#page=6) 核读章节：3.2. Reason Chunking · 3.3. Dataset Curation · 3.4. Training strategy 依据正文 CRU 定义、CRUX pipeline 与 reward 细节整理。作者借鉴人类认知解释设计，但方法有效性主要由训练与 benchmark 对照支持。 ### VISTA: A Test-Time Self-Improving Video Generation Agent CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Long_VISTA_A_Test-Time_Self-Improving_Video_Generation_Agent_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c144/) #### Idea VISTA 对黑盒 text-to-video generator 进行 test-time prompt optimization：先把用户想法写成时序化场景计划，生成候选视频并选优，再由视觉、音频和情境三类评判系统指出失败，驱动 prompt agent 修订后重新生成。最终产物是持续保留的最佳 video–prompt pair。 #### Research Problem 视频质量同时涉及动态、声音同步、物理常识、情节与用户意图，简单 prompt rewrite 或单个总分难指出可修复原因。直接要求 MLLM 一边观看一边比较容易给出浅层评价，而盲目加细节可能使 prompt 冲突或偏离原始需求。 #### Insight 选出当前较好候选和诊断它仍有哪些问题是两个任务。先用有依据的 pairwise comparison 保留候选，再按模态和正反观点细分缺陷，可把生成随机性与具体 prompt 改动联系起来；保留原 prompt 与当前最佳视频还提供了回退选项。 #### Method 1. Prompt Planner 将输入分为带 duration 的 scene sequences，显式描述角色、动作、对白、环境、camera、声音和情绪等九类属性，生成多个候选，同时保留原始用户 prompt。 2. Pairwise Tournament 先为每个视频生成 probing critiques，再依 visual fidelity、physical commonsense、text/video、audio/video alignment、engagement 比较；交换候选顺序做双向判断，并对违反准则者施加 penalty。 3. MMAC 在 Visual、Audio、Context 各维度设置 Normal Judge、Adversarial Judge、Meta Judge，分别评价、提出反驳并综合成具体 critique 与分数。 4. Deep Thinking Prompting Agent 从低分项确定预期效果，检查上下文是否充分、失败来自模型限制还是 prompt，并排查模糊和冲突，审查修改后生成新候选。每轮与 incumbent 共同选优，达到迭代上限或多轮最佳项不变时停止。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Long_VISTA_A_Test-Time_Self-Improving_Video_Generation_Agent_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Long_VISTA_A_Test-Time_Self-Improving_Video_Generation_Agent_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Long_VISTA_A_Test-Time_Self-Improving_Video_Generation_Agent_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Long_VISTA_A_Test-Time_Self-Improving_Video_Generation_Agent_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Long_VISTA_A_Test-Time_Self-Improving_Video_Generation_Agent_CVPR_2026_paper.pdf#page=5) 核读章节：Initialization Phase · Structured Video Prompt Planning · Binary Tournament Video Selection with Probing Critiques · Self-Improvement Phase · Multi-Dimensional Multi-Agent Critiques · Prompt Optimization 读取两阶段流程及两个算法。方法中的自评和最终 human preference 验证属于不同证据；没有把自评分数当作客观视频质量。 ### Visual Document Understanding and Reasoning: A Multi-Agent Collaboration Framework with Agent-Wise Adaptive Test-Time Scaling CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yu_Visual_Document_Understanding_and_Reasoning_A_Multi-Agent_Collaboration_Framework_with_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c157/) #### Idea MACT 将 visual document QA 拆成 planning、execution、judgment 与 answer 四种职能，并为各职能配置不同 test-time scaling。它以程序流程为计算分配单位，用独立判断和返回原角色修正的闭环，降低一次完成文档解析、工具操作与推理的负担。 #### Research Problem 文档任务包含布局识别、精细文字提取、数值计算和多跳组织，单体 VLM 统一扩大参数不能直接解决流程错误。已有自我纠错可能保留原盲点，而让另一个 Agent 同时判断与重写又容易产生不兼容修正，并增加奖励设计复杂度。 #### Insight 生成方案、执行细节、检查错误和最终综合的计算需求并不相同。Judgment 只负责定位错误，再让原 planner/executor 改动，更容易维持步骤一致性。计算也应随角色分配：规划增加多样路径，执行逐步选优，判断增加思考预算。 #### Method 1. Planning VLM 先 analogical prompting 生成相关示例及计划，再为当前文档生成多条 high-level plans，说明各步目标但不提前绑定工具。Execution VLM 将步骤转为含目标、输入和预期输出的执行单元，从 tool library 选择资源。 2. Judgment LLM 分别判定 plan/process 错误并给出位置和描述，路由回对应角色修正，最多三轮。Answer LLM 同时接收已修正过程和之前错误片段，关注容易遗漏的修正细节。 3. Adaptive scaling 对 planning 采样多条独立路径，对 execution 每步生成多个候选并由 reward model 选最好节点，对 judgment 使用 minimum-thinking-token budget forcing；answer 不额外扩展。 4. 先分别 SFT 视觉能力、judgment labels 与答案综合，再以 GRPO 使用 mixed reward。VisualPRM 给 planner/executor 过程分，outcome reward 给 judge/answer，并加入完整最终路径 global reward，减少各角色只优化局部分数。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Visual_Document_Understanding_and_Reasoning_A_Multi-Agent_Collaboration_Framework_with_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Visual_Document_Understanding_and_Reasoning_A_Multi-Agent_Collaboration_Framework_with_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Visual_Document_Understanding_and_Reasoning_A_Multi-Agent_Collaboration_Framework_with_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Visual_Document_Understanding_and_Reasoning_A_Multi-Agent_Collaboration_Framework_with_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Visual_Document_Understanding_and_Reasoning_A_Multi-Agent_Collaboration_Framework_with_CVPR_2026_paper.pdf#page=6) 核读章节：Multi-Agent Collaboration Framework · Agent-Wise Adaptive Test-Time Scaling · Mixed Reward Modeling · Training Pipeline 依据正文方法、算法与实现设置整理。 ### VULCAN: Tool-Augmented Multi Agents for Iterative 3D Object Arrangement CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Kuang_VULCAN_Tool-Augmented_Multi_Agents_for_Iterative_3D_Object_Arrangement_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c146/) #### Idea VULCAN 用 Planner、Executor 和 Evaluators 反复执行 3D object arrangement，把高层语言要求转成逐对象移动，并在每个中间状态检查几何和语义合理性。关键支撑是 MCP scene APIs、视觉探测工具、constraint-based pose solver 与 adaptive backtracking，适用于需要预留空间和调整顺序的多步布置。 #### Research Problem 直接编辑 Blender code 容易出现语言操作和实际 3D 结果不一致。已有单步放置方法即使能解当前 pose，也不处理前一物体占位导致后续不可行的问题。长程任务需要同时维持无碰撞、无悬空及语义目标，单一 MLLM 承担全部状态与几何计算时还受到上下文和空间 grounding 限制。 #### Insight 全局进展判断与局部几何执行需要不同信息。Planner 保留视觉历史，Executor 只处理当前移动并调用数值工具，Evaluator 检查移动结果。把精确几何交给显式约束和 collision detection，再允许从失败分支回退，能够把复杂布置变成可检查的状态搜索。 #### Method 1. Planner 根据用户指令和历次场景渲染，输出当前移动的文本要求与 normalized 2D target coordinate。输入图额外显示坐标网格和已完成移动的箭头，辅助定位和历史理解。 2. Executor 通过 ListObjectsInArea、RayProbe、RenderWithHighlight 获取对象、接触平面和像素到三维的对应，随后构造 CloseToPix、Contact、NoOverhang、Distance、FaceTo、Rotate 等 constraints。 3. Solver 在目标像素周围采样，使用 AdamW 最小化 constraint losses，先按误差过滤，再用 collision detector 排除碰撞候选，选择有效且误差最低的 pose。多位 Evaluators 对语义和视觉合理性投票，额外规则检查 floating。 4. 仅接受共识分数为正且通过物理检查的动作。失败时 adaptive backtracking 调整 restart anchor，退回较早状态重试。实验每步采用三个 evaluators、四条并行尝试，在 25 个场景、111 个 unit tasks 上检查顺序操作。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Kuang_VULCAN_Tool-Augmented_Multi_Agents_for_Iterative_3D_Object_Arrangement_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Kuang_VULCAN_Tool-Augmented_Multi_Agents_for_Iterative_3D_Object_Arrangement_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Kuang_VULCAN_Tool-Augmented_Multi_Agents_for_Iterative_3D_Object_Arrangement_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Kuang_VULCAN_Tool-Augmented_Multi_Agents_for_Iterative_3D_Object_Arrangement_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Kuang_VULCAN_Tool-Augmented_Multi_Agents_for_Iterative_3D_Object_Arrangement_CVPR_2026_paper.pdf#page=6) 核读章节：3. Problem Formulation · 4. Multi-Agent Framework · 5. Multi-Tool Library · Algorithm 1: Constraint-based Pose Solver · 6.1. Dataset and Metrics 依据正文多角色信息范围、约束求解和回溯规则整理。无碰撞检查作用于当前场景几何与候选 pose，本文不把它解释为真实机器人动力学安全保证。 ### WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yeo_WorldMM_Dynamic_Multimodal_Memory_Agent_for_Long_Video_Reasoning_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c160/) #### Idea WorldMM 为超长视频构建 episodic、semantic 和 visual 三类互补记忆，并由 retrieval agent 按问题动态选择来源及时间尺度，收集充分信息后交给 response agent 作答。它把具体事件、跨事件稳定关系和无法充分转述的外观细节分别保存。 #### Research Problem 只存 caption 或摘要会丢失颜色、位置等视觉细节，始终附带所有图像又可能引入干扰。固定数量、固定长度的 clip 检索无法兼顾几秒钟找物与数小时活动总结；逐段独立的事件记忆也难形成长期习惯和关系知识。 #### Insight 不同问题需要的抽象层级不同，事件证据和长期语义并非同一种检索对象。先从图记忆定位关系或时段，再按需返回真实视觉证据，可将长期信息压缩与局部细节核验衔接；动态选择模态比无条件拼接所有内容更契合查询。 #### Method 1. 按多个时间尺度切分视频并生成 captions，把 entity–action–entity triplets 建成不同分辨率的 episodic KGs，保留细事件和粗叙事。 2. Semantic memory 按较粗时间段提取概念、关系和习惯 triplets，先以 embedding 查找旧图中重叠或冲突项，再由 LLM 决定删除、更新或新增，使语义图随视频逐步演化。 3. Visual memory 同时存短片段 multimodal embeddings 与 timestamp–frame 索引，分别支持文本 query 的 cosine similarity 检索和已知时段的直接取帧。 4. Retrieval agent 每轮输出 memory–query pair 或 STOP。Episodic 检索先各尺度 PPR 再由 LLM 跨尺度 rerank，semantic 检索用两端节点 PPR 之和给 edge 打分；所取内容及检索历史全部交给 response agent 生成 grounded answer。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yeo_WorldMM_Dynamic_Multimodal_Memory_Agent_for_Long_Video_Reasoning_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yeo_WorldMM_Dynamic_Multimodal_Memory_Agent_for_Long_Video_Reasoning_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yeo_WorldMM_Dynamic_Multimodal_Memory_Agent_for_Long_Video_Reasoning_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yeo_WorldMM_Dynamic_Multimodal_Memory_Agent_for_Long_Video_Reasoning_CVPR_2026_paper.pdf#page=5) 核读章节：Multimodal Memory Construction · Episodic Memory Construction · Semantic Memory Construction · Visual Memory Construction · Adaptive Memory Retrieval · Response Generation 依据三类记忆构建、图检索和终止协议整理。作者在长视频多选 QA 上报告 accuracy，本笔记不把它扩展为自由回答事实性验证。 ### ZoomEarth: Active Perception for Ultra-High-Resolution Geospatial Vision-Language Tasks CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Liu_ZoomEarth_Active_Perception_for_Ultra-High-Resolution_Geospatial_Vision-Language_Tasks_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c161/) #### Idea ZoomEarth 以低分辨率全图获取地理场景，再自主决定是否、在哪里 crop，并从原始超高分辨率图像回读局部细节。论文同时建立 LRS-GRO，为 global/region/object 三个尺度的问答提供区域标注，把 active perception 的过程质量纳入训练和评价。 #### Research Problem Dynamic resolution 或 token pruning 仍主要被动处理输入，提升分辨率时冗余也增加。遥感图像目标小且密集，普通 OCR/自然图像工具数据难覆盖。直接用 bbox IoU 做 RL 又会在预测离目标较远时全部归零，难教会模型先接近有效区域。 #### Insight 地理对象具有空间关联，即使当前 crop 尚未与目标重叠，接近目标区域也可能是有价值的学习方向。Region-Guided reward 根据中心距离提供密集信号，与 IoU 的精确重叠目标互补，同时保留 global questions 不必裁剪的判断。 #### Method 1. 人工标注具有可辨空间描述的 region/object boxes，再把全图和分级 crop 交给 GPT-4o 生成 QA，人工筛选平衡答案，并补注带 localization reasoning 的 CoT。LRS-GRO 包含 17 类问题、1,224 张高分辨率图和 13,245 个 QA。 2. 以 Qwen2.5-VL-3B 做 SFT，学习工具调用格式、遥感领域语义以及不同任务尺度的裁剪需求。输入先为降采样全图，若输出 ROI bbox，就从原图取高分辨率局部重新输入后作答。 3. 用 GRPO 优化策略，reward 汇总 bbox IoU、由预测与 GT 中心距离构造的 sigmoid Region-Guided reward、答案词语相似度及小权重格式项，使远离目标的早期预测也获得相对方向信号。 4. 评价除 VQA accuracy 外报告 APO IoU，需 crop 的任务若无有效 bbox 则记零。作为下游扩展，预测的 ROI 也可传给 segmentation、denoising、cloud removal 与 image editing tools，无需重新训练这些工具。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_ZoomEarth_Active_Perception_for_Ultra-High-Resolution_Geospatial_Vision-Language_Tasks_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_ZoomEarth_Active_Perception_for_Ultra-High-Resolution_Geospatial_Vision-Language_Tasks_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_ZoomEarth_Active_Perception_for_Ultra-High-Resolution_Geospatial_Vision-Language_Tasks_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_ZoomEarth_Active_Perception_for_Ultra-High-Resolution_Geospatial_Vision-Language_Tasks_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_ZoomEarth_Active_Perception_for_Ultra-High-Resolution_Geospatial_Vision-Language_Tasks_CVPR_2026_paper.pdf#page=6) 核读章节：Active Perception Oriented RS Dataset · Data Annotation Pipeline · ZoomEarth · Training via SFT and RL · Reward Design for Active Perception · Toolkit for Downstream Tasks 依据正文方法、算法与实现设置整理。 ### 3DrawAgent: Teaching LLM to Draw in 3D with Early Contrastive Experience CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xiao_3DrawAgent_Teaching_LLM_to_Draw_in_3D_with_Early_Contrastive_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c1/) #### Idea 3DrawAgent 用冻结 LLM 将语言或参考图转成 3D Bézier curves，并通过生成结果之间的 contrastive experience 更新外部绘图知识。它不调整模型参数，而是把多视角渲染评分与比较解释转成 prompt 中可复用的空间规则，使之后的单次绘图获得更好的结构和语义一致性。 #### Research Problem 2D sketch agents 的表示缺少深度、投影及三维连续性，依赖 diffusion/SDS 的 3D 方法又涉及较重优化。开放式绘图缺少唯一 ground-truth sketch，单个 scalar reward 难告诉 LLM 具体应该如何改善 topology、curve continuity 或 object proportions。 #### Insight 即使没有目标几何，也可以比较两次生成哪个更符合语义，并解释差异来自何种结构。把这种相对判断写成自然语言 experience，可在黑盒 API 条件下改变后续生成行为。它借鉴 GRPO 的相对比较思想，但优化对象是外部知识库，不是通过 policy gradient 更新模型。 #### Method 1. 定义严格的 sketch language，每条 cubic Bézier curve 包含四个 3D control points，指定 coordinate system、数据格式及少量正确 in-context examples。LLM 规划部件和相对布局，输出完整 curve list。 2. Parser 检查分隔符、数值范围和类型，将曲线交给支持 perspective/orthographic projection 的 renderer。每个 sketch 从多个视角渲染，以图像与 prompt 的平均 CLIP cosine similarity 作为 perceptual alignment score。 3. 从生成候选中组成较好/较差的 contrastive pairs，由同一类 LLM 分析 structural integrity、spatial continuity 和 geometric plausibility，产生 textual semantic advantage，而非数值 group advantage。 4. Experience controller 对知识库执行 Add、Delete、Modify 或 Keep，积累可迁移绘图规则。最终推理将知识与新 prompt 合并，冻结模型一次生成完整 3D sketch；实验用每题五个候选提炼经验、16 个固定视角评价。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiao_3DrawAgent_Teaching_LLM_to_Draw_in_3D_with_Early_Contrastive_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiao_3DrawAgent_Teaching_LLM_to_Draw_in_3D_with_Early_Contrastive_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiao_3DrawAgent_Teaching_LLM_to_Draw_in_3D_with_Early_Contrastive_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xiao_3DrawAgent_Teaching_LLM_to_Draw_in_3D_with_Early_Contrastive_CVPR_2026_paper.pdf#page=4) 核读章节：3.1. Problem Setup · 3.2. Language-driven 3D Sketch Planning · 3.3. Contrastive Knowledge Extraction · 3.4. 3D Drawing with Extracted Experience · 4.1. Experimental Setup 依据正文 representation、pairwise feedback 与经验更新流程整理。作者称无需 ground-truth geometry 来做经验优化，但 prompting design 明确包含少量正确 prompt-to-curves 示例，二者应区分。 ### A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xu_A_Multi-Agent_Perception-Action_Alliance_for_Efficient_Long_Video_Reasoning_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c2/) #### Idea A4VL 让多个 VLM 先独立寻找 query-specific perception clues，再据此取视频片段作答。答案不一致时，系统交叉评价 reasoning、淘汰最低分 agent，并让其余 agent 重新提出更具辨别力的线索与取帧区域，形成 perception–action exploration 循环。 #### Research Problem 长视频密集取帧增加计算，也可能用重复信息干扰关键事件。固定 agent 团队和只在答案层面的讨论，不能确保争议导致重新查看不同视觉证据；若所有模型起初都错，仅投票也难纠正。 #### Insight 多 agent 的价值可来自不同的观察假设，而非反复讨论同一输入。将答案冲突转成下一轮 perception clue，能够改变证据来源；同时逐轮减少弱 agent，把预算集中到更有说服力的推理路径。这里的一致意见仍是停止启发式，并非正确性证明。 #### Method 1. 可选的 task-specific teaming 先在少量无标签 video–question pairs 上运行候选模型，按其回答与其他模型的选择频率一致程度计算平均分，默认从八个模型中选三个并在同一任务集复用。 2. 每个 agent 首轮随机预览四帧生成粗 clue。用 DINOv2 embeddings 与 HSV / motion / sharpness 等事件变化切视频块，CLIP 计算 clue–block relevance，并据此分配共十六帧供作答。 3. 每个 agent 基于自己的帧集合输出 answer 和 rationale，完全共识时由 summarizer 汇总答案、线索与解释；若有分歧，各 agent 对所有答案和理由进行 1–10 分评价。 4. 汇总自评与互评分并删除最低分 agent，余下 agent 综合旧线索、争议答案、理由与淘汰信息改写 clue，重新匹配块和采样。实验比较 event partition、clue alignment、共识方式及长视频延迟。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_A_Multi-Agent_Perception-Action_Alliance_for_Efficient_Long_Video_Reasoning_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_A_Multi-Agent_Perception-Action_Alliance_for_Efficient_Long_Video_Reasoning_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_A_Multi-Agent_Perception-Action_Alliance_for_Efficient_Long_Video_Reasoning_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_A_Multi-Agent_Perception-Action_Alliance_for_Efficient_Long_Video_Reasoning_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_A_Multi-Agent_Perception-Action_Alliance_for_Efficient_Long_Video_Reasoning_CVPR_2026_paper.pdf#page=6) 核读章节：Agent Teaming · Perception Exploration · Action Exploration · Experimental Settings 依据正文多轮流程及公式整理。文中 action exploration 指答案生成、互评与团队调整，不是机器人或 GUI 执行动作。 ### AREA3D: Active Reconstruction Agent with Unified Feed-Forward 3D Perception and Vision-Language Guidance CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xu_AREA3D_Active_Reconstruction_Agent_with_Unified_Feed-Forward_3D_Perception_and_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c4/) #### Idea AREA3D 将 feed-forward geometry confidence 与 VLM 的语义不确定性线索合并到共享 3D voxel grid，再在有限 view budget 内选择 next-best views。它把视角规划所需的不确定性估计与 NeRF/3DGS 的在线重建优化分开，使稀疏观察下也能快速安排补拍。 #### Research Problem Coverage、occupancy 和 overlap 等几何启发式不能直接识别哪些区域真正欠重建。NeRF variance 或优化中的 3DGS uncertainty 又依赖昂贵在线更新，并在少视角时不稳定；单独让 VLM 规划虽然有语义先验，却缺乏细粒度 metric geometry 和快速 pose scoring。 #### Insight 几何 confidence 擅长反映当前深度预测的不稳，语义先验则提示遮挡、薄结构、反射或无纹理区域为何值得观察。把两者放在同一可见性受约束的空间 utility 中，再降低已选视锥的优先级，可以让后续视角更多覆盖新的有效证据。 #### Method 1. 用 VGGT 单次前向得到 depth 和 per-pixel confidence，将其按 predictive precision 解释并规范化，依 camera intrinsics/pose 反投影到 voxel grid，聚合成 geometric uncertainty field。 2. 让 VLM 在固定 coarse image grids 上输出少量 uncertainty region、类别与 priority，涵盖 occlusion、geometry、lighting、boundary、texture。将区域转成带平滑边缘和膨胀的 masks，与 vision-feature variability 相乘调制后提升到 3D。 3. 融合 dual fields 并给未观察 voxels 全局 uncertainty prior。对候选 camera centers 和方向 bins 用 Monte Carlo first-hit ray sampling 预计算 FOV visibility masks，仅给可能可见的内容累计 utility。 4. 以 priority queue 贪心选择 center，再用缓存 masks 对候选方向评分。提交 view 后乘性衰减其 frustum 内 uncertainty，更新邻近候选与轻量 NMS，直至耗尽预算；所选观察用于最终 3D Gaussian Splatting reconstruction。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_AREA3D_Active_Reconstruction_Agent_with_Unified_Feed-Forward_3D_Perception_and_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_AREA3D_Active_Reconstruction_Agent_with_Unified_Feed-Forward_3D_Perception_and_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_AREA3D_Active_Reconstruction_Agent_with_Unified_Feed-Forward_3D_Perception_and_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_AREA3D_Active_Reconstruction_Agent_with_Unified_Feed-Forward_3D_Perception_and_CVPR_2026_paper.pdf#page=5) 核读章节：Overview · Neural Feed Forward Confidence Modeling · Vision Language Model for High-Level Reasoning · Active Viewpoint Selection Strategy 依据正文 dual-field 建模与 Algorithm 1 整理。Confidence/semantic uncertainty 是规划 proxy，frustum decay 是启发式更新，不是逐视角实际信息增益的精确测量。 ### EVA: Efficient Reinforcement Learning for End-to-End Video Agent CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhang_EVA_Efficient_Reinforcement_Learning_for_End-to-End_Video_Agent_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c34/) #### Idea EVA 学习 planning-before-perception 的视频 Agent：最初仅根据问题决定如何取帧，随后在 Summary–Planning–Action–Reflection 循环中调整时间区间、帧数和空间分辨率。训练依次采用 SFT、KTO、GRPO，并根据当前策略失败案例扩充新 QA，以提高主动观察的稳定性与效率。 #### Research Problem 均匀抽帧和固定 perception-first workflows 可能处理大量无关内容，也可能漏掉短暂动作。即使允许选片段，若不能改变 temporal granularity 和 resolution，仍难按题分配视觉预算。SFT 后模型还会在证据不足时猜答案，或对短区间取过多帧，直接 online RL 容易受这些策略错误影响。 #### Insight 何时看、看多少和如何看是同一策略中的决策变量。先学习可执行结构，再通过完整轨迹偏好纠正常见错误，能为 online exploration 提供更稳的起点。训练数据也应随暴露出的能力缺口变化，而不是只在固定问题集合上反复优化。 #### Method 1. 提供 frame-selection tool，参数包括 start/end time、nframes 和 resize。Agent 初始没有视频帧，选择工具后才得到视觉 observation，后续可根据证据决定继续查询或回答。 2. 用 Qwen2.5-VL-72B 从 LLaVA-Video、CG-Bench 生成 agentic trajectories，通过成功经验、workflow hints 和 reflection prompts 形成 SFT 数据，明确描述取回帧并比较候选动作的代价与结果。 3. KTO 将证据不足仍作答等失败轨迹标为 rejected，将优质成功轨迹标为 chosen，无需强行构造共享轮次的成对偏好，保留完整多轮策略。 4. Data-Enhanced GRPO 周期性收集当前模型失败，用其引导 teacher 在新 HD-VILA 视频上生成 open-ended QA。多选题采用 CSV reward，要求 EVA 与只看最后一轮帧的 base-model judge 同时答对；开放题用 ROUGE 均值，另给低权重格式补偿。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_EVA_Efficient_Reinforcement_Learning_for_End-to-End_Video_Agent_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_EVA_Efficient_Reinforcement_Learning_for_End-to-End_Video_Agent_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_EVA_Efficient_Reinforcement_Learning_for_End-to-End_Video_Agent_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_EVA_Efficient_Reinforcement_Learning_for_End-to-End_Video_Agent_CVPR_2026_paper.pdf#page=5) 核读章节：3.1. Problem Setup · 3.2. Data Construction · 3.3. Reinforcement Learning · 3.3.2. Reward Shaping 依据正文工具 schema、三阶段训练与数据扩充流程整理。CSV 检查最后取回帧的答题充分性，开放题训练信号为文本 ROUGE，不是全面语义事实验证。 ### Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chen_Graph2Eval_Automatic_Multimodal_Task_Generation_for_Agents_via_Knowledge_Graphs_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c53/) #### Idea Graph2Eval 将外部文档和真实网页转成 heterogeneous knowledge graph，再从有结构约束的 subgraph 生成 agent 任务。Document tasks 以模板约束实体、关系及推理深度，Web tasks 从可操作控件出发匹配 meta-path，使任务内容与可用数据、页面功能和交互关系相连。 #### Research Problem 静态 benchmark 扩展依赖人工，也可能混淆记忆与泛化。直接让 LLM 读取杂乱材料编任务，缺少显式 entity–relation modeling，容易产生语义不一致或上下文不足的问题；从静态文档推测网页交互又不能保证实际页面存在相应入口。 #### Insight 可生成的任务空间应由来源数据的关系与操作结构约束，而非仅由语言模型自由组合。先采样真实存在的节点、边与交互路径，再填充任务语言，可同时调节复杂度并追踪其证据与执行依据；覆盖优化则控制任务池的重复和偏斜。 #### Method 1. 文档保留 paragraph、heading、table、figure 与位置来源 metadata，网页采集 DOM、截图及导航关系。视觉内容先生成描述，与文本合并 embedding，节点同时保留原有结构路径。 2. 构建包含 sequence、contains、semantic association、reference，以及 navigation、form submission、click trigger 等关系的 KG。文档按语义与结构匹配采样，网页以 button / form / link 为 seed 收集 k-hop 操作上下文。 3. Document template 规定节点类型、数量和 hop constraints，再抽取变量由 LLM 生成问题；Web 根据实际 seed 与 meta-path 组合 Search、Filter、Detail 等步骤，并提供 SoM 页面信息形成具体任务。 4. 以规则或 LLM 做质量与可达性检查，结合节点/关系/页面/难度覆盖、语义和结构相似度，通过 MMR 迭代选择任务。Graph2Eval-Bench 包含 1,002 文档任务和 317 Web 任务，分别评价回答质量、任务完成及生成任务的一致性和可解性。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Graph2Eval_Automatic_Multimodal_Task_Generation_for_Agents_via_Knowledge_Graphs_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Graph2Eval_Automatic_Multimodal_Task_Generation_for_Agents_via_Knowledge_Graphs_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Graph2Eval_Automatic_Multimodal_Task_Generation_for_Agents_via_Knowledge_Graphs_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Graph2Eval_Automatic_Multimodal_Task_Generation_for_Agents_via_Knowledge_Graphs_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Graph2Eval_Automatic_Multimodal_Task_Generation_for_Agents_via_Knowledge_Graphs_CVPR_2026_paper.pdf#page=6) 核读章节：Data Ingestion · KG Construction · Subgraph Sampling · Task Generation · Coverage Optimization · Implementation Details 读取生成算法、coverage 流程与实验指标。Web success 由经人工一致性验证的 LLM evaluator 判定，不写成全部使用确定性执行断言。 ### Hierarchical Long Video Understanding with Audiovisual Entity Cohesion and Agentic Search CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yin_Hierarchical_Long_Video_Understanding_with_Audiovisual_Entity_Cohesion_and_Agentic_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c57/) #### Idea HAVEN 将长视频离线组织为 global summary、scene、segment 与 canonical audiovisual entity 四层索引，再让 reasoning agent 按问题在这些层级间搜索。核心是用 speaker identity 补足视觉身份线索，把跨镜头分散观察连接为稳定实体与叙事结构。 #### Research Problem 普通 clip RAG 把长视频拆碎，局部 captions 与一个 global entity list 不足以表达场景层级和长时依赖。人物外观变化、遮挡、off-screen 发言会导致同人拆分或异人合并，纯字幕检索又忽略谁在说话，进而影响跨片段推理。 #### Insight 说话者身份可在视觉线索变化时提供相对稳定的连续性证据。实体一致性与 scene-level temporal abstraction 互补，前者连接远处同一主体，后者保留故事顺序。检索先用低成本结构化文本定位，再按需回看视觉，避免把所有关联 clips 一次送入 context。 #### Method 1. 用 WhisperX 产生 timestamped transcripts 与 diarized speaker labels。每个 30-second segment 结合采样帧、speaker 与文本生成 caption/speaker-aware description，并加入 UNITE visual embedding，保留文本遗漏的视觉检索通道。 2. 从片段提取 characters、locations、events，经 description embeddings 聚类，再由 LLM canonicalize 或拆分冲突簇。共享 speaker labels 为人物合并提供强线索，对每个 entity–segment link 离线重新生成 focused caption。 3. LLM 在 overlapping chunks 中将连续且语义一致的 segments 合并为 scenes，生成 scene summaries 与 global summary，建立能从全局故事追到局部证据的层次数据库。 4. Agent 以 global summary 初始化 memory，通过 Global Scene Browse、Segment Caption/Visual Search、Entity Search 与文字/视觉 Inspection 迭代查询，返回带 timestamps 的证据并更新上下文，找到答案或达到 step budget 停止。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yin_Hierarchical_Long_Video_Understanding_with_Audiovisual_Entity_Cohesion_and_Agentic_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yin_Hierarchical_Long_Video_Understanding_with_Audiovisual_Entity_Cohesion_and_Agentic_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yin_Hierarchical_Long_Video_Understanding_with_Audiovisual_Entity_Cohesion_and_Agentic_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yin_Hierarchical_Long_Video_Understanding_with_Audiovisual_Entity_Cohesion_and_Agentic_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Yin_Hierarchical_Long_Video_Understanding_with_Audiovisual_Entity_Cohesion_and_Agentic_CVPR_2026_paper.pdf#page=6) 核读章节：Overview · Audio Information Extraction · Segment Information Extraction · Audiovisual Entity Extraction · Scene Segmentation and Global Summary · Agentic Search with Reasoning 依据正文四层数据库与工具流程整理。Speaker identity 适用有可用语音的内容，论文对无音频 benchmark 使用字幕或纯视觉设置。 ### ModularAgent: A Task-Aware Modular Framework for Joint Optimization of Multimodal Large Language Models and World Models CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhan_ModularAgent_A_Task-Aware_Modular_Framework_for_Joint_Optimization_of_Multimodal_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c80/) #### Idea ModularAgent 在 latent representation 层联合训练 MLLM 与 RSSM world model，通过 task-aware modular fusion 将语义特征送入 imagined rollouts，再把 task-conditioned behavior objectives 反馈到语义表示。它面向多任务控制与跨环境迁移，重点是语义意图和 dynamics 的双向适配。 #### Research Problem MLLM 擅长理解多模态目标，但缺乏可执行的环境动力学；world models 能预测和控制，却对高层语义和跨域任务泛化有限。单向 connector 难让两种表示共同适应当前任务，固定融合结构在不同语义与动力学需求下也可能发生干扰。 #### Insight 不同任务对语义抽象与物理状态的依赖不同，融合比例应由 task embedding 逐层调节。除将语言先验送入 world model，还应让 imagined behavior 的目标一致性参与表示训练，使模型学习的 latent space 同时服务预测和控制，而非仅作模态映射。 #### Method 1. Task encoder 将文字目标编码为 task embedding，MLLM 编码时序视觉 tokens，RSSM 根据观察、前一 latent state 和 action 更新 dynamics state。先投影拼接特征，再送入 Task-Aware Modular Fusion。 2. 每层包含 semantic adapter 和 dynamics adapter，由 task-conditioned sigmoid gate 连续加权其残差贡献，层叠后生成统一 latent representation，供重建、预测与 policy 使用。 3. 在 fused latent space 中让 policy 采样动作、world model 推进 imagined states。同时把 task embedding 映射到同一空间，用 text-imagination model 构建任务参考轨迹，对齐两种 transition distributions，并计算任务一致性 dense reward。 4. Joint objective 包含 RSSM prior/posterior KL 与 observation reconstruction、MLLM visual reconstruction/cross-modal alignment，以及带时间折扣的 Joint Behavior Optimization。实验在 DMC 的 Cheetah、Walker、Quadruped、Stickman 离线数据上评估多任务与迁移。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhan_ModularAgent_A_Task-Aware_Modular_Framework_for_Joint_Optimization_of_Multimodal_CVPR_2026_paper.pdf#page=1) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhan_ModularAgent_A_Task-Aware_Modular_Framework_for_Joint_Optimization_of_Multimodal_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhan_ModularAgent_A_Task-Aware_Modular_Framework_for_Joint_Optimization_of_Multimodal_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhan_ModularAgent_A_Task-Aware_Modular_Framework_for_Joint_Optimization_of_Multimodal_CVPR_2026_paper.pdf#page=6) 核读章节：3.1. Task-Aware Dynamic Joint Learning · 3.2. Task-Aware Behavior Learning · 3.3. MLLM-WM Joint Optimization · 4.1. Experimental Setup 依据正文双专家融合与联合目标整理。正文 task-conditioned reward 将 Sim 定义为 cosine similarity，而 Joint Behavior Optimization 的实现段落写作 negative KL，本笔记保留二者所在目标的区别。 ### R4: Retrieval-Augmented Reasoning for Vision-Language Models in 4D Spatio-Temporal Space CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Sohn_R4_Retrieval-Augmented_Reasoning_for_Vision-Language_Models_in_4D_Spatio-Temporal_Space_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c95/) #### Idea R4 为 frozen VLM 增加持续更新的 object-centric 4D memory：每个对象同时记录语义、全局三维几何和时间区间，并保留观察 agent 与可见性。查询被分解成 semantic、spatial、temporal keys，经多轮检索推理连接当前感知、历史事件和其他 agent 的观察。 #### Research Problem 平面 caption 或 snapshot 记忆缺少可直接计算的 metric geometry，所有空间关系又被交回 VLM 猜测。静态 RAG 不适合连续变化的环境，独立 agent 的记忆也缺少统一坐标和来源，难回答“之前在哪里看到什么、与另一对象相距多远”等联合问题。 #### Insight 检索本身可以在不同结构空间中执行：文本相似度找语义，SLAM 全局坐标约束距离与方向，时间区间筛历史。将它们关联到同一个对象记录，使推理能够先找一个空间锚点再检索邻域，并依据 provenance 与遮挡情况处理多视角冲突。 #### Method 1. 同步 RGB、point cloud 和 timestamp，用 SAM2 分割对象并将点投到 mask，计算世界坐标 centroid、extent，VLM 补充简短描述，形成 SEM / SPA / TEM / AID / VIS JSON entry。 2. 语义进入 vector database，几何作为 SLAM map 中连接对象记录的 special points，时间进入 time-series 存储。对新观察先按空间距离和语义相似度提名匹配，再由模型决定更新已有对象或新增。 3. 多 agent 通过共享全局坐标合并观测，AID 追踪来源，冲突时优先使用无遮挡 VIS；同对象历史属性用于推断状态变化。 4. VLM 先评估 live perception 能否回答，不足则依据 retrieval handbook 生成三类查询，可单独或联合执行。检索返回完整记录并序列化回 context，模型继续提出后续检索直至任务终止条件满足。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Sohn_R4_Retrieval-Augmented_Reasoning_for_Vision-Language_Models_in_4D_Spatio-Temporal_Space_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Sohn_R4_Retrieval-Augmented_Reasoning_for_Vision-Language_Models_in_4D_Spatio-Temporal_Space_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Sohn_R4_Retrieval-Augmented_Reasoning_for_Vision-Language_Models_in_4D_Spatio-Temporal_Space_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Sohn_R4_Retrieval-Augmented_Reasoning_for_Vision-Language_Models_in_4D_Spatio-Temporal_Space_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Sohn_R4_Retrieval-Augmented_Reasoning_for_Vision-Language_Models_in_4D_Spatio-Temporal_Space_CVPR_2026_paper.pdf#page=6) 核读章节：Continuous 4D Knowledge Database · 4D Object Feature Generation · Linking to the SLAM Map · Continuous Updating and Refinement · Collaborative Enrichment and Consistency · Retrieval-Augmented 4D Reasoning 依据 object schema、匹配条件与 iterative retrieval 正文整理。self-estimated answerability 为模型内部判断，不是经过校准的置信保证。 ### Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Liu_Resolving_Evidence_Sparsity_Agentic_Context_Engineering_for_Long-Document_Understanding_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c103/) #### Idea SLEUTH 以 coarse-to-fine context engineering 解决长文档证据稀疏：先检索少量页面，再分别提取带位置的结构化 clues 与筛选必须保留的视觉页，最后按问题难度选择推理模式，在 evidence-dense context 上生成带出处的答案。 #### Research Problem 直接输入全文会让大量冗余干扰 VLM，page-level RAG 虽缩短上下文，检索页内仍有许多无关内容。单纯文本抽取会损失 table/chart/layout 线索，而增加多 Agent 推理但保持冗长输入，也未解决关键证据被稀释的输入问题。 #### Insight 不同信息需要不同保留形式：文本事实可蒸馏为细粒度记录，复杂图表仍应保留页面视觉。两条并行支路让原始图像可以被过滤，而其中已提取的有用文本不会随页删除。计算深度再依赖证据与问题复杂度分配，兼顾 context 精度和推理需求。 #### Method 1. ColPali 将 query tokens 与各页 visual embeddings 做 late-interaction MaxSim，选 top-K pages，先缩小候选范围，全流程无需训练 backbone。 2. Clue Discovery Agent 逐页定位 text lines、table cells、chart regions，记录 page、region、content、insight 与 relevance rationale，保留证据出处。Page Screening Agent 并行将视觉页标成 completely relevant、relevant 或 irrelevant。 3. 最终 context 包括所有候选页抽出的 clue records，以及筛选后保留的相关 page images。若无视觉输入或问题不可答，调整 prompt template，避免要求模型引用不存在的图像。 4. Difficulty Assessment Agent 根据 query/context 输出二值难度与策略提示，如跨页聚合或表格计算，再路由 Instruct/Thinking-type model。Core Decision Agent 综合 clues 与视觉页，输出答案及 page/evidence/source reference table。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_Resolving_Evidence_Sparsity_Agentic_Context_Engineering_for_Long-Document_Understanding_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_Resolving_Evidence_Sparsity_Agentic_Context_Engineering_for_Long-Document_Understanding_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_Resolving_Evidence_Sparsity_Agentic_Context_Engineering_for_Long-Document_Understanding_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_Resolving_Evidence_Sparsity_Agentic_Context_Engineering_for_Long-Document_Understanding_CVPR_2026_paper.pdf#page=5) 核读章节：Overall Framework · Coarse-grained Visual Retrieval · Evidence Refinement and Visual Screening · Evidence and Difficulty-Aware Decision 依据正文方法、工具定义及实现设置整理。 ### SAGE: Training Smart Any-Horizon Agents for Long Video Reasoning with Reinforcement Learning CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Jain_SAGE_Training_Smart_Any-Horizon_Agents_for_Long_Video_Reasoning_with_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c109/) #### Idea SAGE 学习 any-horizon video reasoning，在短而简单的问题上直接回答，在长视频或需要外部知识的问题上多轮调用工具。核心 orchestrator SAGE-MM 经 synthetic trajectory SFT 与 trajectory-level GRPO 训练，协调 web search、speech transcription、event grounding 和局部视频分析。 #### Research Problem 单轮视频模型通常固定处理大量 sampled frames，难按任务难度选择推理长度。长娱乐视频中的目标事件可能需要世界知识辅助定位，而固定工具链又无法适配简单问题。仅用选项匹配或 ROUGE 的 reward 也难评价开放式回答的语义正确性。 #### Insight 时间跨度与问题难度并非一一对应，Agent 应根据现有证据判断是否 answerable，再决定获取何种新信息。初始全局语境和后续局部工具反馈承担不同角色，训练数据同时保留 direct-answer 与 tool-use trajectories，能避免所有问题都被迫进入冗长流程。 #### Method 1. Context VLM 阶段输入 128 sampled frames、视频路径/时长、工具定义与 query，输出 video-context、query-intent、下一 tool 或 final answer。Iterative Reasoner 随后读取历史工具结果及文本语境，持续判断 answerability。 2. 工具库包括 web-search、parse-website、transcribe-speech、ground-event、extract-video-parts 和 analyze，grounding 每次限制在最多十分钟区间，后两类视觉推理由辅助 MLLM 执行。 3. 用 Gemini-2.5-Flash 为多类 YouTube 视频生成覆盖全时段的 QA，并运行 SAGE 合成每题多个 trajectories 作为 cold-start SFT。RL 子集均衡需要工具和直接回答的样本，避免单一 horizon 偏置。 4. GRPO 将每步格式、调用合理性、重复参数和无效参数分数与最终 judge correctness 聚合，再将 trajectory reward 分配给各动作。早期限制较短 rollout 以稳定训练，正确使用视觉工具获得额外奖励，错误多轮回答受罚。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Jain_SAGE_Training_Smart_Any-Horizon_Agents_for_Long_Video_Reasoning_with_CVPR_2026_paper.pdf#page=1) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Jain_SAGE_Training_Smart_Any-Horizon_Agents_for_Long_Video_Reasoning_with_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Jain_SAGE_Training_Smart_Any-Horizon_Agents_for_Long_Video_Reasoning_with_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Jain_SAGE_Training_Smart_Any-Horizon_Agents_for_Long_Video_Reasoning_with_CVPR_2026_paper.pdf#page=6) 核读章节：3.1. System Design · 3.2. Synthetic Data Generation · 3.3. RL Post Training · 4.1. Implementation Details 依据正文工具、两种角色和训练策略整理。SAGE-MM 是被训练的 orchestrator，ground-event/analyze 使用另一个较大的 VLM 工具，系统能力不能仅由 orchestrator 参数规模描述。 ### SciEducator: Scientific Video Understanding and Educating via Deming-Cycle Multi-Agent System CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xu_SciEducator_Scientific_Video_Understanding_and_Educating_via_Deming-Cycle_Multi-Agent_System_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c116/) #### Idea SciEducator 用 Plan–Do–Study–Act 循环理解科学视频：规划候选解释与工具链、选择并执行方案、分析证据不足的原因，再修改检索与观察策略。完成科学解释后，同一循环还可组织实验步骤、器材、插图和语音，生成教育 e-booklet。 #### Research Problem 科学视频常只能展示现象，解释需要外部专业知识及严谨因果推理。普通 video agents 可能没有可执行初始计划，遇到模糊视频、错误检索或缺失知识时缺少结构化诊断，单轮最终回答难积累新证据以改善流程。 #### Insight 低置信结果应该触发对失败来源的区分，而不只是再生成一次答案。将工具成本经验、候选解释评价与证据补充放入循环，可针对问题调整 caption 密度、视频细节或 query specificity；教育内容也可沿同一已理解的科学过程组织。 #### Method 1. 视频按 1 FPS caption，RAG agent 提取实体和关键词并从内部语料首次检索知识，planner 结合时序描述、知识及 few-shot exemplars 生成多种候选计划和 agent calls。 2. Do 阶段综合工具调用探测得到的 latency、token usage、success prior，以及关键词 IDF 和 LLM 对科学性、覆盖、逻辑、清晰度的评价，选择并执行方案，再估计证据是否充分。 3. 低置信时 Study 诊断工具失败、过宽检索或 caption 缺失，将新证据并入知识库；Act 调整下一方案池，例如增强模糊帧、提高取帧频率或收窄实体查询，循环至阈值或轮数上限。 4. E-booklet 阶段检索实验 procedure 与 precautions，再生成器材信息、步骤插图和语音，由 booklet agent 编排。SciVBench 由科学专家依据视频和文献构建 500 QA，输入去除字幕与音频，评价科学视频理解及生成内容。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_SciEducator_Scientific_Video_Understanding_and_Educating_via_Deming-Cycle_Multi-Agent_System_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_SciEducator_Scientific_Video_Understanding_and_Educating_via_Deming-Cycle_Multi-Agent_System_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_SciEducator_Scientific_Video_Understanding_and_Educating_via_Deming-Cycle_Multi-Agent_System_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_SciEducator_Scientific_Video_Understanding_and_Educating_via_Deming-Cycle_Multi-Agent_System_CVPR_2026_paper.pdf#page=5) 核读章节：Problem Definition and Overview · Tools & Agents Configuration · Deming Cycle within SciEducator · Educational E-booklet Generation · SciVBench Dataset 读取 PDSA 各阶段和教育生成流程。self-evolving 指该流程中知识与方案更新，主文未将其定义为在线模型权重更新。 ### Select Less, Reason More: Prioritizing Evidence Purity for Video Reasoning CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Li_Select_Less_Reason_More_Prioritizing_Evidence_Purity_for_Video_Reasoning_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c123/) #### Idea EARL 将 video reasoning 的 frame selection 与 localized re-sampling 联合训练，并用人工核验的 key-frame labels 奖励 evidence purity。模型每次选关键帧后，系统从原视频附近时间区间补采更细的帧，再继续推理，使观察可以超出最初 uniform sampling。 #### Research Problem 静态采样让有限 visual context 被冗余稀释；只从预采样帧选择又无法恢复漏掉的短事件。现有 pixel-space agents 即使能调用观察工具，若只按最终答案正确奖励，也可能依赖不相关画面猜中，缺少对中间 evidence quality 的约束。 #### Insight 选择少量真正相关证据与在这些位置补充时间细节是互补操作。Frame-set IoU 同时惩罚多选无关帧与漏选关键帧，再让答案奖励依赖 selection quality，可减少仅凭答案正确而保留低质取证策略。不过 purity 在这里是对 annotated golden frames 的一致性代理。 #### Method 1. Operation-aware SFT 用含文本 CoT 与显式 frame-selection actions 的 demonstrations 初始化模型，学会输出可调用选择操作，而不是直接从原输入作答。 2. 从当前 visual context 选择 key frames，为每帧建立与最近时间邻帧之间的区间，在这些区间重新均匀取样并替换当前 visual context。实验初始最多 32 帧，最多两次动态选择，每次新增帧上限 16。 3. 用 GPT-4o 根据 video、question 和 answer 提议 1–8 个 key-frame indices，再由人工剔除无关帧，构造覆盖两轮选择所需证据的 golden labels，作为 RL supervision。 4. Reward 包含调用 action bonus、selected/golden frame-set IoU 和答案正确性。答对但 IoU 低于阈值得较低奖励，答错受负奖励；训练早期提高探索 bonus、后期降低它并提高 relevance 权重，逐渐转向精确选择。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Select_Less_Reason_More_Prioritizing_Evidence_Purity_for_Video_Reasoning_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Select_Less_Reason_More_Prioritizing_Evidence_Purity_for_Video_Reasoning_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Select_Less_Reason_More_Prioritizing_Evidence_Purity_for_Video_Reasoning_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Select_Less_Reason_More_Prioritizing_Evidence_Purity_for_Video_Reasoning_CVPR_2026_paper.pdf#page=5) 核读章节：Problem Formulation · Operation-Aware Supervised Fine-Tuning · Evidence-Aware Reinforcement Learning · Key-frame Annotation · Reward Function Design · Dynamic Adjustment of Reward Sensitivity 依据正文 resampling 与分阶段奖励整理。Evidence purity 依赖人工核验 frame annotations，不等于证明最终答案在因果上使用了所选帧。 ### SVAgent: Storyline-guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yang_SVAgent_Storyline-guided_Long_Video_Understanding_via_Cross-Modal_Multi-Agent_Collaboration_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c111/) #### Idea SVAgent 用持续更新的 query-aware storyline 组织长视频证据，再通过 hypothesis formation、DPP frame selection、分离的文本/视觉决策及 meta verification 形成答案。若证据不足或两模态不一致，Suggestion Agent 根据历史失败推荐新帧，推动 storyline 与假设共同修正。 #### Research Problem 仅根据 captions 或独立 top-k keyframes 回答，可能丢失跨事件的时间联系。将文本与视觉直接融合成一次判断，也难发现两种证据相互矛盾。已有 refinement 往往不知道下一轮应回看哪里，容易重复查看显著但不完整的片段。 #### Insight Storyline 提供跨帧时间结构，hypothesis 则明确需要寻找支持或反驳什么。分别根据问题和假设证据检索帧，再检查两者是否一致，可为是否继续探索提供信号。文本与视觉独立作答及 evidence-level 复核，有助于识别共同结论背后的证据缺口。 #### Method 1. 建立每秒一帧的 frame database 和 captions，初轮均匀选择部分帧，Storyline Agent 结合 query 生成紧凑 narrative；后续将新帧与既有 storyline 合并，修正不完整时序信息。 2. Hypothesis Agent 生成临时答案和 evidence set。分别以 query relevance 与 evidence relevance 构造 DPP kernels，以 frame similarity 控制冗余，用 greedy MAP 选择关键帧，再按两个集合的重叠程度决定是否进入验证。 3. Text Decision Agent 读取 storyline、captions 和 query，Vision Decision Agent 读取对应 frames，各自产生答案、证据和 frame-importance recommendations，不直接接收临时 hypothesis answer。Meta Agent 检查证据是否互相支持，最终轮不一致时按证据强度协调。 4. 失败后 Suggestion Agent 检查已使用帧与历史错误，选择未探索或可能澄清问题的时间区域。系统最多三轮 refinement，在 LongVideoBench、MLVU、LVBench 和 VideoMME 上分析各模块与帧选择贡献。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_SVAgent_Storyline-guided_Long_Video_Understanding_via_Cross-Modal_Multi-Agent_Collaboration_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_SVAgent_Storyline-guided_Long_Video_Understanding_via_Cross-Modal_Multi-Agent_Collaboration_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_SVAgent_Storyline-guided_Long_Video_Understanding_via_Cross-Modal_Multi-Agent_Collaboration_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_SVAgent_Storyline-guided_Long_Video_Understanding_via_Cross-Modal_Multi-Agent_Collaboration_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_SVAgent_Storyline-guided_Long_Video_Understanding_via_Cross-Modal_Multi-Agent_Collaboration_CVPR_2026_paper.pdf#page=6) 核读章节：3.1. Storyline Generation · 3.2. Hypothesis Formation and DPPs · 3.3. Cross-Modal Decision and Verification · 3.4. Suggestion Agent · 4. Experiment 依据正文六角色与迭代取证设计整理。正文和 Algorithm 1 对重叠率分母及验证输入使用 union/intersection 的表述不一致，笔记保留共同机制，未将其中一种细节断言为已核实实现。 ### Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yan_Symphony_A_Cognitively-Inspired_Multi-Agent_System_for_Long-Video_Understanding_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c128/) #### Idea Symphony 按能力而非单纯模态分工组织长视频 agent：Planning 负责推理与调度，Grounding 找证据时段，Visual Perception 检查视觉细节，Subtitle 分析字幕，Reflection 核验整条推理并驱动补充搜索。对复杂查询使用语义扩展和 VLM segment scoring，降低只用原问题做 CLIP 检索的漏证风险。 #### Research Problem 长视频问题常有模糊指代、抽象动作与跨场景多跳依赖，原始 query 的 embedding 相似度难定位隐含线索。固定工作流或多模型投票缺少根据中间证据改变任务的能力，而单 agent 兼任定位、字幕解析和逻辑推理容易负担过重。 #### Insight 复杂问答需要把“应该找什么证据”本身纳入推理。Planner 对问题逐步分解，grounding 对抽象概念展开可观察线索，reflection 再查逻辑与证据是否足够，这使后续工具调用针对具体缺口而非重复第一次检索。 #### Method 1. Planner 以原问题和 action–observation trajectory 为状态，动态调用 grounding、visual 或 subtitle agent；视觉工具包括 frame inspector、global summary 和 multi-segment analysis，字幕模块执行实体、情感与主题分析。 2. Grounding agent 判断复杂度，简单查询保留 CLIP 检索；复杂查询经 LLM 实例化模糊实体、展开概念及补充潜在逻辑线索，再对非重叠片段稀疏取帧。 3. VLM 对每个片段按四级 relevance 打分并给理由，区分足以回答、局部证据、间接多跳关联和无关片段；并行执行各片段分析，选出相关时间段供进一步检查。 4. 得到初步答案后 Reflection 读取完整轨迹，验证推理严谨性与证据充分性。不通过则把 critique 追加状态，planner 再发起针对性的观察和比较，直到验证通过或尝试预算耗尽。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yan_Symphony_A_Cognitively-Inspired_Multi-Agent_System_for_Long-Video_Understanding_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yan_Symphony_A_Cognitively-Inspired_Multi-Agent_System_for_Long-Video_Understanding_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yan_Symphony_A_Cognitively-Inspired_Multi-Agent_System_for_Long-Video_Understanding_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yan_Symphony_A_Cognitively-Inspired_Multi-Agent_System_for_Long-Video_Understanding_CVPR_2026_paper.pdf#page=5) 核读章节：Overview · Collaboration Mechanism · Reflection-enhanced Dynamic Collaboration · Grounding Agent 依据 agent 分工、算法和 relevance rubric 整理。Actor-Critic 是作者对调度与验证的启发类比，该流程没有据此执行 actor-critic RL 参数更新。 ### Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wang_Think_Then_Verify_A_Hypothesis-Verification_Multi-Agent_Framework_for_Long_Video_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c133/) #### Idea VideoHV-Agent 把 multiple-choice video QA 转为 hypothesis–verification。Thinker 先问各候选答案成立时视频应显示什么，Judge 提取能区分选项的关键 clue，Verifier 回看对应原始片段验证，Answer Agent 再用经过检查的证据比较选项。 #### Research Problem 长视频 RAG 和 CoT agents 往往不断找相关片段并累积描述，相关性不等于对答案的区分证据，推理容易 semantic drift。初始 captions 又常漏掉精细动作和关系，直接对全部 caption 推理既昂贵，也不能补足这些遗漏。 #### Insight 搜索目标应由“什么观察能使候选假设成立或失败”确定，而不只是与问题语义相似。用 discriminative clue 压缩多个假设的差异，可以减少逐一验证所有选项的冗余；summary 用于全局假设，raw frames 用于局部核验，两种信息承担不同职责。 #### Method 1. 先生成可复用 frame captions，再按 query 生成紧凑 summary。全局 reasoning 仅读 summary，详细 captions 留作 temporal grounding，避免所有阶段都读取长历史。 2. Thinker 根据 summary 排除明显不合理选项，把保留选项写为包含 entities、events、temporal/causal constraints 的 testable hypotheses。Judge 将竞争假设凝练成最小可区分 observation clue。 3. Verifier 通过 captions 定位时间窗口，回到 raw frames 做 fine-grained captioning，每次最多处理五帧，并输出带时间、实体和关系理由的 VERIFIED、PARTIAL 或 NOT VERIFIED 状态。 4. PARTIAL 触发 verification-only loop 追加具体片段证据；NOT VERIFIED 触发较大循环重新生成更具体或更有区分力的 hypotheses/clues。最后 Answer Agent 综合 summary、核验结果和冲突检查，给出证据支持的答案。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Think_Then_Verify_A_Hypothesis-Verification_Multi-Agent_Framework_for_Long_Video_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Think_Then_Verify_A_Hypothesis-Verification_Multi-Agent_Framework_for_Long_Video_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Think_Then_Verify_A_Hypothesis-Verification_Multi-Agent_Framework_for_Long_Video_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Think_Then_Verify_A_Hypothesis-Verification_Multi-Agent_Framework_for_Long_Video_CVPR_2026_paper.pdf#page=5) 核读章节：Overall Framework · Context Summarization · Two-step Reasoning · Self-Refinement Loop · Evidence Integration · Details of Two-step Reasoning 依据正文方法与实验协议整理。 ### Agentic Very Long Video Understanding ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2161/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e246/) #### Idea EGAgent 为跨天乃至一周的 egocentric video QA 建立带时间的 entity scene graph，并让规划代理联合查询视觉帧、音频转写和实体关系。核心改变是把连续经历压缩为可以组合检索的“谁、何时、与什么发生何种交互”，再用多步证据回答问题。 #### Research Problem 直接输入全部视频超出 context window；普通 Video RAG 对片段或 caption 做独立相似度检索，难以稳定连接跨日的同一实体，也难回答重复习惯、关系链和先后顺序问题。仅找到与原问题相似的画面，不一定能支持涉及多个条件和模态的推理。 #### Insight 实体关系加上时间区间可以作为长视频的结构化索引，将复杂问题分解为先定位事件、再查参与者或关系的多跳过程。原始视觉和音频检索仍然必要，因为图的抽取会遗漏信息；在 compact working memory 中融合各模态结果，比一次检索后直接回答更适合长时问题。 #### Method 1. 从音频转写、场景描述和地点预测构建文档，用 LLM 抽取 person、object、location 节点及 talks-to、interacts-with、mentions、uses 关系；为边附加时间区间和原文证据，存为 SQLite tuples。 2. Planning Agent 将问题拆为带检索工具及参数的子任务。Visual Search 对 1 FPS 帧的 embedding 做相似度检索并支持时间地点筛选；Audio Search 使用按时间范围的 LLM 搜索或 BM25。 3. Entity Graph Search 根据时间、文本、实体与关系生成 SQL；无结果时逐步放宽时间窗口、文本匹配和关系限制，以兼顾精确匹配与漏检恢复。 4. Analyzer 对各子任务检索结果进行相关性判断、证据提取和去重，累积进 working memory；VQA Agent 结合原问题与紧凑跨模态证据生成答案，在 EgoLifeQA 与 Video-MME Long 上评估。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2161.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2161.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2161.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2161.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.2161.pdf#page=7) 核读章节：Task Setup · Entity Graph Representations · Agentic Framework EGAgent · Evaluation Benchmarks · Implementation Details 核读图结构、Algorithm 1、三类检索工具及查询放宽策略。EgoLifeQA 使用数据集提供的人工 diarized transcripts，而 Video-MME 使用 ASR；不能将两种音频输入条件混同。 ### ChartAgent: A Multimodal Agent for Visually Grounded Reasoning in Complex Chart Question Answering ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.843/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a39/) #### Idea ChartAgent 把图表 QA 的中间推理放回图像空间：agent 反复定位 legend、分割 bar 或 pie slice、标注坐标并计算数值，再查看工具输出的可视化以修正下一步。它以无需训练的工具编排补强通用 MLLM 的精细图表感知。 #### Research Problem 现有 Chart VQA 容易借助显式数字标签作文本推理；在 unannotated charts 中必须从像素位置、面积或颜色映射恢复数值，纯文本 chain-of-thought 无法纠正底层感知错误。通用视觉工具若缺少图表语义和可检查输出，也难以支持可靠的逐步计算。 #### Insight 图表虽类型繁多，却共享 legend、axis、tick、segment 等结构；将这些元素变成可操作 primitives，就能把复杂问题拆成有可视化证据的局部步骤。观察标注结果还能发现错误颜色关联、负 bar height 或缺失分割，从而调整工具，而不是持续沿用错误读数。 #### Method 1. orchestrator 提取 chart type、annotation status、legend、axis labels 与 ticks；含明显文本捷径或定性问题可直接交给 base MLLM，其余进入视觉 ReAct loop。 2. 按 chart type 检索一至两个成功工具轨迹作 few-shot ICL，并将 metadata 用于工具参数；每轮 Thought 确定视觉或计算子目标，Action 在 Python notebook 调用工具。 3. 通用工具覆盖分割、legend 标注、axis localization 与 interpolation，专用工具处理 bar isolation、pie area 等；底层结合 SAM、Semantic SAM 和 OCR，返回坐标、数值及可视化。 4. MLLM 检查 masks、overlay 与读数的对应，必要时改阈值、换工具或重新定位；直到给出答案或达到十五轮，工具证据持续不足时回退直接 MLLM 推理。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.843.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.843.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.843.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.843.pdf#page=5) 核读章节：Visually Grounded Chart Reasoning · Chart Interaction and Manipulation · Architecture and Components 核读完整主方法与架构图；工具自检查是模型判断而非形式验证，fallback 及按问题路由均属实际流程。 ### Deep-Reporter: Deep Research for Grounded Multimodal Long-Form Generation ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1909/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d193/) #### Idea Deep-Reporter 将 deep research 扩展到包含图表、示意图和文字证据的长报告生成：按 section checklist 检索双模态材料，过滤后逐节撰写，并用压缩全局记忆加局部原文维持连续性。同时提供可用于后训练的 agentic traces 与稳定 sandbox benchmark，使图像选择、放置和图文一致性成为显式研究对象。 #### Research Problem 现有 deep research 大多面向文本事实；直接插图无法解决信息密度、事实相关性、引用位置和跨章节重复等问题。长历史与大量图像又容易超出 context，并损害整体结构。已有 benchmark 常只有短多模态答案，或依赖变化的开放网络，难以统一比较检索过程与长报告结果。 #### Insight 高质量插图应承担证据作用，而不只是装饰；将每节目标拆成粗粒度 description 和细粒度 semantic checklist，能同时指导文字查询、视觉查询与材料筛选。长文连续性需要两种尺度的信息：全局 narrative summary 保持方向，上一节 verbatim tail 支持衔接，不必重复携带全部历史。 #### Method 1. Planner 将用户 query 变成 section 序列，每节含范围描述与具体事实/论点 checklist，允许人工调整；Searcher 据此产生 narrative queries 和 visual queries，在多模态工具中检索原始候选。 2. Filter 用 LLM 判断文字与当前 checklist 的语义支持关系，用 VLM 判断图像信息量与相关性，优先保留 charts/diagrams，形成精简 evidence set。Reporter 接收 section plan、证据、记忆和章节位置逐节生成。 3. 将图像转换成详细 caption 供文本模型决定引用位置；每生成一节递归更新 global summary，并保留前节末尾原文，生成 interleaved text/image citations，控制长距离叙事和局部连接。 4. 从 1K 专家修订 query/plan 产生 17K 多 agent traces，经检索多样性、视觉对齐、幻觉、放置和重复使用筛查保留 8K。另从真实报告构建 247 个九领域任务及本地多模态 sandbox，并由专家裁决证据池、修订 silver reference reports。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1909.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1909.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1909.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1909.pdf#page=5) 核读章节：2.1 The Deep-Reporter Framework · Sectional Planning with Dual-granularity Checklist · Agentic Multimodal Search and Filtering · Multimodal Incremental Synthesis with Recurrent Context Management · 2.2 Agentic Traces Construction · 3 Benchmark: M2LongBench 核读三个 agent、记忆更新、caption integration、训练轨迹筛选及 benchmark 标注设计。自动 quality assurance 在 500 条抽样上经专家检查，而非 8K 全部逐条人工验证；silver reports 是模型初稿加专家编辑，不视为唯一正确答案。 ### Doc-V*: Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2129/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d216/) #### Idea Doc-V* 将 OCR-free 多页文档问答改为 coarse-to-fine 的交互式证据聚合：先看带页码的缩略图总览，再自主检索或精读指定页，并维护结构化 working memory。模型学习何时继续找证据、何时作答，而不是固定接收全部页面或一次 top-k 检索结果。 #### Research Problem 整本文档视觉输入成本高、受上下文限制且易出现 lost-in-the-middle；静态 visual RAG 则容易受首次检索失败影响，无法根据新证据调整查询或追踪相邻页。长文档中的布局、图表和跨页信息又使 OCR 文本化处理丢失重要线索。 #### Insight 低分辨率总览可以保留章节、图表位置与页码等导航线索，精细视觉 token 应按需读取。把每次页面相关性判断与增量摘要显式表达，既能缓解乱序页面造成的记忆漂移，也为训练提供证据获取质量的可计算信号。 #### Method 1. 预计算并缓存各页高分辨率视觉 tokens；初始只输入问题和由 256×256 缩略图组成、标注绝对页码的 grid，提供低成本全局结构先验。 2. 定义 retrieval_page、fetch_page 和 answer 三类动作：前者用 ColQwen 等检索未访问页，后者按索引精确取页；返回页码与视觉 tokens，重复请求改为文字提醒。 3. 约束每轮输出 analysis、相关页判断及 summary；首轮额外制定 plan，后续将历史 summaries 拼接为 working memory，支持跨页证据累积与下一步动作选择。 4. 先以 teacher 真实环境交互生成并筛选的 9,019 条轨迹做 SFT，仅监督代理 tokens；再以独立训练题进行 GRPO，按答案正确性、证据 recall 和结构有效性组合奖励，在有限交互步数内优化回答与检索效率。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2129.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2129.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2129.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2129.pdf#page=5) 核读章节：Formulation and Cognitive Motivation · Environment Design · Action Space · Structured Visual Reasoning · Training · Experimental Setup 核读视觉缓存、动作协议、记忆结构及两阶段训练。正文所谓 outcome supervision 仍包含 evidence recall 与结构奖励，因此并非仅用最终答案奖励。 ### DocLens: A Tool-Augmented Multi-Agent Framework for Long Visual Document Understanding ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1234/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a52/) #### Idea DocLens 把长视觉文档取证分成 page navigation 与 element localization 两个尺度：先结合整页截图和 OCR 找页，再裁出相关页的图表与表格细看。随后多次采样推理答案并由 adjudicator 汇总，以提高回答准确性和不可回答问题的识别。 #### Research Problem 现有 full-context VLM 和 vector retrieval 不仅漏掉证据页，即使找对页面也可能因整页缩放忽略细粒度视觉信息。缺失证据会传播为错误答案或无依据作答，因此仅扩大上下文、增加 top-k 页或只优化回答提示并未处理双层定位缺口。 #### Insight 文本 OCR 帮助找到语义线索，独立视觉 crop 则提升被定位元素的可读性，两者在不同尺度补充原始截图。对候选页取并集优先提高 recall，再让多条 reasoning–answer paths 交叉比较，是作者将取证覆盖率与最终答案可靠性分开处理的机制。 #### Method 1. Page Navigator 对所有页面 OCR，把 question、逐页 screenshot 与 text 交错输入 VLM；非零温度采样多次候选 evidence page sets，取并集，超出 context 时分块并行处理后合并。 2. Element Localizer 对预测证据页执行 layout detection，获取 figure、chart、table 的 bounding boxes 并裁切，形成 screenshot、OCR text、visual crops 三元组证据集合。 3. Answer Sampler 针对这一集合重复生成 reasoning 与 answer，通过采样温度形成多条候选推理路径，而不是直接对全量文档重复回答。 4. Adjudicator 接收候选 reasoning–answer pairs，比较其逻辑一致性并输出最终答案；在 MMLongBench-Doc 与 FinRAGBench-V 依原协议检验准确率、unanswerable 子集及视觉证据表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1234.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1234.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1234.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1234.pdf#page=5) 核读章节：DocLens Framework · Lens Module · Reasoning Module · Experimental Setup 核读主方法、实验设置及结果表；“超过人类”仅对应论文引用的 MMLongBench-Doc human baseline，未外推一般阅读能力。采样裁决并不构成答案正确性保证。 ### DORA: A Dual-Objective Reinforcement Learning Framework for Effective and Efficient Multimodal Agentic Search ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.605/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e66/) #### Idea DORA 用 dual-objective RL 同时训练多模态 agent 的检索质量与回答质量，并只在正确轨迹之间奖励较少的 search calls。它把取回正确证据、利用证据回答和控制调用开销分开建模，避免最终答案一项奖励掩盖中间搜索的贡献。 #### Research Problem 现有 MMSearch-R1 一类方法主要由最终回答正确性监督整个 trajectory：即便找到正确资料，只要后续推理出错，检索行为也无法获得明确正反馈；反之最终答对可能伴随大量无用调用。把 retrieved text 直接接入 reasoning 而不检查相关性，也容易积累噪声并继续无效搜索。 #### Insight 检索和回答的成功条件不同，应对相应 token 提供不同学习信号。对正确回答的组内候选比较 search 次数，可以在不直接奖励错误短轨迹的前提下学习效率；每次检索后的 reflection 则把证据是否相关、是否足够转成下一步 query refinement 或停止决定。 #### Method 1. 采用 think→search→information→reflect 的交互结构：无关结果触发 query refinement，部分相关但不足则总结关键证据并继续，证据充足时进入 conclude 和 answer；检索器接受文字或图像 query。 2. 若整条轨迹检索到至少一个 golden document，给予 retrieval reward，独立于最终答案。answer reward 则叠加 correctness、格式检查比例及 efficiency：在正确 trajectories 中对负 search-call 数做 softmax，调用越少相对奖励越高。 3. 分别对 search reward 与 answer reward 做组内归一化。search objective 只更新被标为检索的 tokens，answer objective 按正文公式作用于整条生成序列；两者均使用 GRPO clipping 和 KL，训练中动态调整权重，逐步偏向回答目标。 4. 以 Qwen2.5-VL 3B/7B 在 Enc-VQA、InfoSeek、SK-VQA 的筛选数据上训练，每题多 rollout 并限制最多五次搜索。retrieval baselines 使用相同 LamRA 与知识库，以 answer EM、命中式 Recall@5 和平均调用数分别评估效果与效率。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.605.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.605.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.605.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.605.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.605.pdf#page=6) 核读章节：3 The Proposed DORA Approach · 3.1 Rewards · 3.1.1 Reward in the Search Phase · 3.1.2 Reward in the Answer Phase · 3.2 Dual Optimization Objective · 3.3 Reflection · 4.1 Experiment Setup 核读 reward 定义、token objective 与实验工具控制。检索奖励需要训练期 golden documents，不能描述为完全无监督；检索命中只要求至少一条相关材料，并非证明所有 intermediate evidence 完备。效率约束基于调用数量，不等同于所有模型和工具配置下的 wall-clock 成本最优。 ### Enhancing Agentic Textual Graph Retrieval with Synthetic Stepwise Supervision ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1169/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e139/) #### Idea Graph-S3 为 agentic textual graph retrieval 合成可逐步评价的监督，用经过提炼的 golden subgraphs 指导图探索策略。系统把“扩展邻居”和“保留相关关系”分为不同动作，使检索器逐轮构建紧凑证据子图，再交给答案模块推理。 #### Research Problem 基于 embedding 的单次检索容易只捕获浅层相关性；交互式图检索虽能处理多跳关系，但动作空间大、人工步骤标注昂贵。仅依据最终答案训练又存在奖励稀疏与 credit assignment 问题：冗余甚至错误步骤也可能碰巧得到正确答案，难以教会有效探索。 #### Insight 答案正确只能说明最终证据可能够用，不能说明每一步检索合理。先离线从成功轨迹删除冗余路径并形成可检查的目标子图，再评价当前动作与这些证据的关系，可提供比单一终局奖励更密集的学习信号。 #### Method 1. 定义 Explore Entity、Choose Relation、Finish：Explore 扩展实体邻域并更新 perception window，Choose 从已有窗口筛出问题相关 triples，Finish 将问题与 focused subgraph 交给答案模块。 2. 用 GPT-4o 在图环境中生成带自然语言理由的探索轨迹；状态包含问题、感知窗口、已选子图与动作历史。只保留终局答案符合 ground truth 的轨迹，原始步骤用于 SFT warm-up。 3. 对成功轨迹进行 refinement，寻找保持可行性、终态与正确答案的更短轨迹，删除多余绕行，并将精炼轨迹分解为步骤监督和对应 golden evidence。 4. 先监督学习 thought-action tokens，再用 GRPO 根据动作无效、仅格式正确、部分正确和匹配目标动作等分级规则给奖；推理阶段交替扩展与筛选关系，在证据足够时终止，以控制检索深度和上下文冗余。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1169.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1169.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1169.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1169.pdf#page=5) 核读章节：Data Synthesis · Action Space for Graph Exploration · Graph Reasoning Data Synthesis · Trajectory Refinement for RL · Training Stage · Interactive Retriever 核读动作空间、轨迹筛选与 refinement 定义、分级奖励及推理流程。golden subgraphs 来自离线合成提炼，不应表述成人工逐步标注；其正确性仍依赖生成及答案检查。 ### I2E: From Image Pixels to Actionable Interactive Environments for Text-Guided Image Editing ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2076/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d210/) #### Idea I2E 先把图片分解为可操作的 amodal object layers 与背景，再由 physics-aware VLA agent 将编辑指令编译为 atomic actions。编辑从反复全图重绘变成显式维护场景状态和操作对象，以处理多目标空间关系与连续局部修改。 #### Research Problem 端到端编辑把指令理解、规划与像素生成耦合，复杂指令容易遗漏子目标；全局 attention 与重建过程又会扰动非目标区域。普通 segmentation 只保留可见部分，移动遮挡对象后会露出空洞，缺少层次与支撑关系也会产生不合理遮挡或悬空。 #### Insight 稳定局部编辑需要的不只是更强语言规划，而是允许对象保持身份、可见性和层序的中间表示。先补全被遮挡内容与背景，后续 REMOVE 或 MOVE 就能复用已有层；物理约束指导动作顺序，连续编辑可积累状态而不必每轮重新合成整个场景。 #### Method 1. Decomposer 用 MLLM semantic reasoning 配合 grounding/segmentation 获取相关对象 masks，将无关区域归入背景；generative completion 补出遮挡纹理与几何，形成透明 RGBA layers，并 inpaint 被移除对象后的背景。 2. 建立 object occlusion DAG：以像素遮挡为 hard constraints、单目 depth 为 soft ordering，传播传递关系并计算 depth scores，从而排列全局 compositing layers。 3. VLA Editor 根据指令、当前场景及 gravity/support 等显式约束进行 CoT，生成带对象和参数的原子动作序列。 4. REMOVE 隐藏层，MOVE/FALL 刚性移动，RESIZE 保持宽高比；EDIT/RETOUCH 在目标层修改外观，INSERT 生成新层并按关系放入堆叠序列。 5. 维护 environment state，遇到用户反馈或 self-critique 追加纠正动作；以 I2E-Bench 的组合空间编辑及公开编辑数据评估指令执行、物理合理性和多轮稳定性。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2076.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2076.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2076.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2076.pdf#page=5) 核读章节：Motivation: Analysis of End-to-End Editing Bottlenecks · Decomposer: Environment Construction · VLA Editor: Agentic Interaction 核读表示构建、层序算法与 action execution 正文；physical plausibility 是约束提示和编辑评估目标，未将其描述为完整物理模拟器。生成式补全仍存在于环境构建和外观编辑中。 ### LongVideoAgent: Multi-Agent Reasoning with Long Videos ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1876/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e220/) #### Idea LongVideoAgent 让 master LLM 按问题反复选择定位片段、查看局部画面或回答，借助 grounding agent 和 vision agent 从长视频中提取稀疏证据。对开源 master 再进行 RL，使其学习结构化协作；两个 specialist 保持冻结，从而将长视频感知与决策训练分开。 #### Research Problem 直接向模型提供长视频常需大幅下采样或摘要，关键视觉细节可能不可逆地丢失；仅依靠字幕的工具系统又无法回答对象、场景或动作细节。固定一次检索也难以在定位错误或证据不足时重新查找，因此需要在有限步骤内动态决定下一次观察。 #### Insight 先通过字幕缩小 temporal search space，再按当前疑问读取局部画面，可以把视频处理预算集中到问题相关区域。master 保留已累积的字幕、clip tags 与视觉观察，在证据冲突时重新 grounding，在信息足够时终止；这使多轮工具使用成为可训练的决策过程。 #### Method 1. 输入完整 episode subtitles 与问题，master 每轮只输出 visual_query、request_grounding 或 answer 之一。grounding agent 返回相关 clip tag 及字幕，允许请求连续片段或重新定位；vision agent 按 query 从当前片段提取对象、动作、属性、OCR 等文字观察。 2. 将 specialist 的结果追加到 master context，最多运行 K 步。默认 K=5、单 clip window，grounding 使用 Grok-4-fast-reasoning，vision 使用 GPT-4o，因此开源 master 结果也包含这些冻结模型提供的能力。 3. 以格式正确的动作获得 step reward，以 multiple-choice answer exact match 获得 terminal reward，组合为 trajectory return；正文称以 GRPO 对 master rollout 更新，使用 clipping 与 entropy regularization，specialists 不训练。 4. 将 TVQA/TVQA+ 同一 episode 的 clips 合并，重索引时间戳并保留对应 boxes，构建 LongTVQA/LongTVQA+；在原 validation split 比较非 agent、agent、agent 加 RL，并分析步数和片段窗口。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1876.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1876.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1876.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1876.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1876.pdf#page=6) 核读章节：3.1 Multi-agent System Framework · 3.2 Reinforcement Learning for LongVideoAgent · 4.1 Datasets · 4.2 Baselines · 4.3 Experimental Setup 已核读 action loop、specialist 配置、reward 和数据聚合。正文同时写 GRPO 与 learned value baseline，未据此补造更具体训练公式；所列 reward 没有显式调用成本惩罚。部分非 agent 基线仅用字幕，而 agent 还得到视觉工具证据，因此其差值不能纯归因于规划策略。 ### Look Less, Reason More: Rollout-Guided Adaptive Pixel-Space Reasoning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.225/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d25/) #### Idea 该工作让 VLM 学习按问题决定是否进行 zoom-in，而非普遍鼓励视觉工具。训练时对同一问题分别执行强制用工具、禁止用工具及自由决策的 rollout，用前两组的准确率差异指导第三组，从模型自身表现估计 pixel operation 的实际必要性。 #### Research Problem 静态视觉表示可能丢失细节，但已有 pixel-space reasoning 容易过度放大，增加 token 与工具开销并引入无关区域；只奖励最终答案也可能使策略退化为总是用工具或完全不用工具。缺少的监督是针对当前模型和当前问题，额外视觉访问到底能否改善解答。 #### Insight 工具价值具有 query-specific 和 policy-dependent 特征。若禁止 zoom-in 的平均准确率已经不低于强制使用时，额外调用通常缺少收益；反之，应鼓励调用。通过同策略的成组试验构造这种相对信号，可以避免依赖额外像素级“必须用工具”标注。 #### Method 1. Operation-Aware SFT 混合纯文本 CoT 与含 pixel operations 的轨迹，以标准交叉熵训练基础推理和合法 zoom-in 能力，避免后续 RL 将工具使用失败与工具不必要混淆。 2. 每个问题采样 forced-tool 与 no-tool 两组 rollout；根据最终答案分别计算平均准确率，只有前者更高时，将该问题标记为需要 pixel operation，并用 instruction-following reward 保持两组行为受控。 3. 自由模式 rollout 自主选择是否 zoom-in；Adaptive Tool-Necessity Alignment Reward 联合考虑答案正确性与调用决策是否符合必要性信号，正确且一致获得更高奖励，错误且不一致受更大惩罚。 4. 进一步用 rollout 间工具调用指示变量的方差构造 consistency penalty，将其与正确性和 alignment reward 汇总用于策略优化；实验同时报告任务准确率与 tool usage ratio，以评价收益和调用效率。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.225.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.225.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.225.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.225.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.225.pdf#page=6) 核读章节：Problem Formulation · Operation-Aware Supervised Fine-Tuning · Pixel Necessity Rollouts · Adaptive Rollouts · Overall Rollout-Guided Reward · Setups 核读两阶段训练和奖励公式。必要性由有限 rollout 的相对准确率估计，是模型当前能力下的训练信号，不是工具必要性的绝对真值；实验基础数据沿用 Pixel-Reasoner。 ### MatchTIR: Fine-Grained Supervision for Tool-Integrated Reasoning via Bipartite Matching ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.549/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a27/) #### Idea MatchTIR 将 tool-integrated reasoning 的过程监督转化为 predicted 与 golden tool calls 之间的 bipartite matching，用有限的匹配信用区分有效、错误和重复调用。再结合 turn-level 与 trajectory-level advantages，使同一轨迹不同轮获得不同训练信号。 #### Research Problem 常规 outcome RL 只知道最终答案对错，trajectory reward 即使统计了工具质量，仍可能给所有轮次相同 advantage，错误调用和关键步骤一起被强化。逐个调用独立算相似度又允许重复调用同一正确工具刷分，因而需要全轨迹的信用分配约束。 #### Insight gold tool trace 不仅提供局部标签，还定义一组有限的有效动作；通过全局匹配，一次专家动作的信用不能被任意复制。局部匹配收益与最终答案成功信号结合，既能学习工具细节，也避免仅模仿单步而忽略整条任务；这一监督依赖可用的 golden calls。 #### Method 1. 抽取预测与参考 tool-call sets，构造相似度矩阵：tool name 必须匹配，再计 parameter-name Jaccard 和 parameter-value exact matches，并按参数数归一化。 2. Hard assignment 用 Hungarian 最大权匹配实现一对一对齐，未匹配调用获得固定惩罚或零分；Soft assignment 将相似度转为 optimal transport cost，以受边际约束的 transport plan 分摊信用。 3. 同一 turn 的多个调用奖励取平均，避免靠数量增加收益；最后 answer turn 使用与 golden answer 的 F1 outcome reward。 4. 对各 rollout 的总奖励做组内标准化得到 global advantage；对每轮未来折扣奖励做组内比较得到 local advantage，将两者相加分配给该轮 tokens。 5. 在 GRPO clipped policy objective 中使用综合 advantage 并保留 reference KL，tool response tokens 屏蔽损失，因为它们来自环境而非策略。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.549.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.549.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.549.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.549.pdf#page=5) 核读章节：Reward Modeling · Dual-Level Advantage Estimation · Policy Optimization 核读相似度、两种匹配、轮次聚合及优势估计公式；此方法以参考调用对齐定义过程质量，未将其等同于所有可行工具路径的唯一真值。 ### Shanks: Simultaneous Hearing and Thinking for Spoken Language Models ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.404/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a18/) #### Idea Shanks 让 spoken language model 在用户仍说话时处理固定时长 speech chunks，并交错生成不播出的 thinking chunks。它把原本等待 turn 结束才进行的推理和工具调用提前，支持在发现数学讲解错误时打断，以及信息足够时先发起旅行查询 API。 #### Research Problem 多数 LLM/SLM 在完整用户输入到达后才开始 reasoning 和 tool use，无法依据正在到来的内容及时互动，也把全部处理时间留在用户停顿之后。简单的实时 interruption model 又缺少中间推理，容易在错误时间打断或无法解释错误；工具依赖链则进一步增加最终回复前的等待。 #### Insight 用户说下一段话的时间可以用来处理已经听到的内容，但不能假装已知未来输入。交错序列保留已听 speech 与先前 reasoning，逐步积累足够参数后即可执行部分工作；固定 chunk 提供生成预算，而区分 partial-audio 与 end-of-audio 能让模型知道何时继续听、何时正式回答。 #### Method 1. 默认每四秒输入一个 speech chunk，末尾附 EOPA；模型根据此前所有音频与 thinking 生成下一段内部文本，预算为 chunk duration 乘 tokens-per-second，超时强制终止该段。最终音频使用 EOA，随后生成最终 response。 2. 构造音频/推理交错训练序列，用 cross-entropy 预测各 thinking chunk 与最终回答。实现包含 Qwen2.5-Omni speech-to-text 的 E2E 版本，以及 Whisper-large-v3 加 Qwen2.5-7B 的 cascade 版本。 3. 数学 interruption 数据由问题、模型生成的分步解和 TTS 音频构成；教师依据当前可见 transcript 追踪变量、检查错误并生成 INTERRUPT 标记及解释。评估错误识别后的打断比例、有效性和相对首次错误的 latency。 4. 将 ComplexFuncBench 一半用于训练、一半用于测试；教师把 ground-truth API calls 分配到参数已充足的 speech chunks，mask tool-response loss。测试用 judge 匹配预存调用及回复，统计 early call accuracy、完整任务成功率与 turn 结束后生成 token 数。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.404.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.404.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.404.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.404.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.404.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.404.pdf#page=6) 核读章节：2.1 Inference · 2.2 Training · 3.1 Scenario 1: Interrupting User Turn · 3.2 Scenario 2: Making Tool Calls When Listening · 4.1 Shanks-E2E · 4.2 Shanks-Cascade 核读 chunk 时序、训练与两种任务协议。工具实验采用预存 API responses，明确不计算真实 API latency，延迟指标是结束后 token 数；训练测试同源 ComplexFuncBench，不能直接与未在该分布训练的方法横比。E2E 实验未微调语音 talker，因此不把结果扩展为完整 speech-to-speech 系统验证。 ### Simple-VGC: Enhancing Visual Grounding in Multimodal Reasoning via Adaptive Tool Composition ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.223/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a6/) #### Idea Simple-VGC 按 visual grounding 的失败机制组合三种图像操作：reuse 重新注入原图，focus_area 聚焦区域，zoom_in 放大图像。通过 TWI-Tools-146K 的多步工具轨迹训练，模型在推理中主动补充视觉输入，而不只依赖开头的一次图像编码。 #### Research Problem 长文本生成会削弱与初始视觉证据的对齐；低分辨率使局部细节难以辨认；分散注意力又可能把描述对齐到错误但相似的区域。固定“裁剪再放大”流程无法针对三种不同问题调整操作，因而工具数量增加不一定带来可靠 grounding。 #### Insight 视觉信息不足并非单一故障：遗忘、分辨率不足和定位偏差需要不同干预。显式重新访问、区域限制和尺度调整提供互补补偿，工具选择与文本推理交替进行，能够让新视觉证据及时影响后续判断。作者使用 attention 可视化和单工具实验支持这种划分。 #### Method 1. 提供 JSON 格式工具接口：reuse 将原图再次加入序列，focus_area 使用 bbox 裁剪，zoom_in 按倍率插值放大；executor 执行后将图像观察追加到当前推理上下文。 2. 以 MATHV360K、LLaVA-CoT-100K 与 ArxivQA 等数据为源，让 teacher MLLM 生成包含 atomic reasoning、visual plan、工具指令和图像结果的交错轨迹，每题最多尝试两次。 3. 依次检查最终答案与工具使用有效性；reuse 和 zoom_in 审核指令与计划的语义一致，focus_area 检查 bbox 是否覆盖目标，筛成 TWI-Tools-146K。 4. 在 Qwen2.5-VL-7B 上用 modality-aware masked cross-entropy 做 SFT，只对文本生成计算损失；推理时解析工具标签、执行操作并继续生成，直到 answer 或轮数限制。focus_area 训练反馈为带红框的整图，推理反馈则为裁剪图。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.223.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.223.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.223.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.223.pdf#page=5) 核读章节：Tool-wise Preliminary Analysis · Tool Integration and Invocation · Scalable Data Generation Pipeline · Training and Inference for Simple-VGC 核读工具定义、数据过滤及训练推理流程，保留作者明确披露的 focus_area 训练推理差异。zoom_in 是图像插值而非恢复原本不存在的真实细节；attention 分析属于作者机制证据。 ### SlideAgent: Hierarchical Agentic Framework for Multi-Page Visual Document Understanding ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.677/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e78/) #### Idea SlideAgent 先离线式构建 query-agnostic 的 global、page、element 三层文档知识，再按问题检索和激活相应 agents。它将整份文档主题、跨页叙事和局部视觉细节连接起来，避免每个问题都直接在多页截图中重新寻找全部证据。 #### Research Problem 一般 MLLM 将页面当作整体，低分辨率和视觉输入数量限制使图表细节、脚注及跨页关系被忽略；纯检索又难以表达行业图示语义和空间关系。依赖 PDF 内嵌 metadata 的方法还不适用于扫描、截图或扁平化文档。 #### Insight 视觉文档的局部元素必须在页面功能和全局主题中解释，但不同问题需要的尺度不同。将可复用知识预先按三层建立，并在推理时选择必要尺度，能够同时保留宏观语境和细节，减少无关 agent 输出带来的成本与噪声。 #### Method 1. Global Agent 从前三页形成初始摘要、目的和叙事知识；Page Agent 依次结合当前页、初始全局知识和前一页描述生成 page knowledge，再以全部页知识重写全局字段，纠正早期页面偏差。 2. Element Agent 用 text/layout detection、element classification 及碎片合并获得文字、bbox、类型和页号，结合标注视觉及上层知识描述元素语义角色、用途与页面关系。 3. orchestrator 将问题归入 global、fact-based、multi-hop 或 layout/visual 类型，决定启用哪些 agents；不确定时启用全部，并生成围绕关键实体的 subqueries。 4. 以原问题和 subqueries 检索页面、元素及相应知识；各层 agents 用检索内容生成答案与解释，元素层保留 bounding-box annotations。 5. 若启用单个 agent 或多个答案匹配则直接输出，否则 synthesizer 综合各层解释和检索页视觉生成答案；实验分 end-to-end retrieval 与给定 ground-truth pages 两种设置。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.677.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.677.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.677.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.677.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.677.pdf#page=5) 核读章节：Knowledge Construction Stage · Inference Stage 核读三层知识构建、global rewrite、路由与回答合成；知识构建为推理式预处理，未描述为参数训练。检索与已给证据页设置分开解释。 ### Spatial-Agent: Agentic Geo-spatial Reasoning with Scientific Core Concepts ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.679/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e80/) #### Idea Spatial-Agent 将自然语言地理问题转换成受 GIScience core concepts 与 functional roles 约束的 GeoFlow Graph，再映射为实际 GIS operators 执行。核心改变是在自由文本规划与工具调用之间加入可检查的空间类型和依赖表示，使回答建立在地理计算结果上。 #### Research Problem ReAct 等通用 agent 可能把地理关系当成语言相似性，混淆实体范围、拓扑和计算顺序，例如先聚合再施加本应限定统计空间的条件。即使知道某个 API，也未必能补齐隐含的 road network、route 等中间对象，并组成输入输出类型兼容的可执行流程。 #### Insight 空间问题具有重复的概念转换结构，不能只靠语言常识排列操作。区分实体是什么与它在分析中起什么作用，能够同时约束类型和先后关系；再把抽象概念依赖展开成多输入 operator，才可以从解释性规划走到真实执行。 #### Method 1. 从问题抽取 Location、Object、Field、Event、Network、Amount、Proportion 七类 core concepts，并赋予 Extent、Temporal Extent、SubCondition、Condition、Support、Measure 等角色；区分限定数据范围的 contextual roles 与需遵循先后关系的 procedural roles。 2. 从预验证 macro-template library 和 question–graph store 检索相关转换子图与例子，补齐隐含节点，构造 GeoFlow Graph；检查 acyclicity、role ordering、type compatibility、data availability、connectivity 五类约束。 3. 将概念图 factorize 为 operator–concept hypergraph，显式补入距离等执行参数与多输入依赖，映射 geocoding、spatial search、routing、geometry、trip optimization 工具，按拓扑顺序执行并保存所有中间结果供回答生成。 4. 框架可直接 prompting 使用，也提供可选 SFT→DPO：先学习概念类型和角色抽取，再以符合全部约束的图相对于违规图构造 preference pairs。用 MapEval-API 与 MapQA 比较通用 planning agents，覆盖地点、邻近、路线和行程分析。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.679.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.679.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.679.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.679.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.679.pdf#page=6) 核读章节：3.1 Problem formulation of Agentic Geo-Spatial Reasoning · 3.2 Geospatial Concept Grounding · 3.3 Spatial Orchestration · 3.4 Retrieval-augmented Orchestration · 3.5 Learning with Geographic Constraints · 3.6 Execution and Response Generation 核读概念空间、角色约束、图 factorization、模板与可选训练。图 well-formedness 是结构和可执行性条件，不自动证明语义抽取、地图数据或最终答案均正确；笔记将 theory-grounded 描述限定为这些明确设计约束。 ### Spec-o3: A Tool-Augmented Vision-Language Agent for Rare Celestial Object Candidate Vetting via Automated Spectral Inspection ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.256/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a8/) #### Idea Spec-o3 将稀有天体候选复核建模为 astronomer-aligned spectral inspection：代理读取光谱总览，自主选择波长区间重新绘图，再把局部线形证据与文本判断交替积累。它针对候选筛选后的高混淆 vetting 环节，提供可审查的判别过程，而不仅输出类别分数。 #### Research Problem 深度分类器适合大规模初筛，但稀有类型与污染样本的细微差异、仪器伪影和跨巡天分布变化，使最终确认仍依赖专家逐条看光谱。通用 VLM 缺少将天体诊断知识落实到具体波长证据的能力，普通分类数据中的简单负例也不足以反映真实复核难度。 #### Insight 专家会先看全局形态，再检查关键谱线区域；将这一工作流变成可调用的光谱可视化工具，可连接抽象诊断标准与原始数值证据。少量经过严格审核的轨迹能教会有效检查方式，更多仅有类别标签的数据则可通过 RL 改善噪声和污染条件下的判断。 #### Method 1. 基于 Qwen2.5-VL，输入初始光谱图和包含诊断特征、常见污染类型的专家提示；模型选择直接回答或提交波长区间及可选标签，工具从原始光谱数组重新渲染局部图并追加到 iMCoT。 2. 从 LAMOST 五类稀有目标及易混淆类型采样，筛选 SNR>10；GPT-5 草拟工具轨迹，由一名天文学家修订、另外两名独立审核，并在格式标准化后再次共同验收，获得约 1k cold-start 轨迹。 3. SFT 学习工具调用与证据解释，对工具返回 tokens 屏蔽损失；随后以 label-only 数据进行 GRPO，奖励最终分类正确性并惩罚格式错误，不额外奖励工具调用次数。 4. 构建 SpecVI-Bench，以弱分类器高置信误候选采样 hard negatives，采用近均衡训练与不均衡测试，并排除 cold-start 测试重叠；另以跨巡天、跨任务和极端样本检验泛化。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.256.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.256.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.256.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.256.pdf#page=5) 核读章节：Spec-o3 · Cold Start · Agentic Reinforcement Learning · SpecVI-Bench · Experimental Setup 核读工具从数值数组重绘的机制、三专家审核流程、奖励和基准构造。吞吐与性能属于作者报告；本笔记未将可读 reasoning trace 等同于完整物理解释的证明。 ### Speech-Hands: A Self-Reflection Voice Agentic Approach to Speech Recognition and Audio Reasoning with Omni Perception ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1997/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e230/) #### Idea Speech-Hands 将音频理解中的信息来源选择显式化：omni model 先给出自身预测，再学习输出 internal、external 或 rewrite action token，决定信任自己的感知、采用专门模型结果，还是结合音频和候选重新生成。一个统一接口覆盖 ASR 与多选 audio QA。 #### Research Problem 把外部 ASR hypotheses 或音频推理结果直接混入 omni model 并不总能改善性能，错误候选可能覆盖原本正确的内部判断。零样本仲裁又对提示措辞敏感，易退化成固定偏向某一来源；问题因此是何时融合或拒绝外部证据，而不只是增加音频能力。 #### Insight internal、external 和 rewrite 对应不同可靠性情形，将选择标签与最终任务输出联合监督，可以让模型学习证据到策略的映射。对正确内部预测优先分配 internal 避免无谓改写；多次外部采样则减少 audio QA 的离散标签因随机预测而抖动。 #### Method 1. 为每条音频生成内部预测和专用外部模型结果；ASR 另生成结合音频与外部转录的 GER candidate，计算三者相对 gold transcript 的 WER。 2. ASR 中内部正确或 WER 最低时标 internal，否则选择 external 或 rewrite 的最佳候选；audio QA 中内部正确优先 internal，内部错时根据外部五次采样的多数正确与否区分 external/rewrite。 3. 将 action token 与 gold transcript/answer 拼成同一 target string，在 Qwen2.5-Omni tokenizer 加三种特殊 token，以统一 cross-entropy SFT 同时学习仲裁与内容生成。 4. 推理先产生 action token，再按所选来源生成最终输出；在 OpenASR 多领域数据检验 WER，在 MD-Audio 检验答案准确度及动作选择 F1，外部模型与自身预测共同构成输入。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1997.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1997.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1997.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1997.pdf#page=5) 核读章节：Task Formulation · Action Token Construction for ASR · Action Token Construction for Audio QA · Prompt Formatting and Training · Agentic Inference via Action Tokens 核读 action-label 构造、SFT 及两阶段推理；这是显式仲裁学习，未将动作解释为无需事先生成外部候选的按需调用节省。 ### VoxMind: An End-to-End Agentic Spoken Dialogue System ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.459/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a22/) #### Idea VoxMind 在 end-to-end spoken dialogue model 中加入 Think-before-Speak，并以辅助 LLM 并行检索工具，使语音 agent 先规划、再回答或调用局部工具集。它用 AgentChat 统一训练对话与工具交互，重点解决语音系统从反应式聊天走向多步任务执行时的能力和工具扩展成本。 #### Research Problem 已有语音模型主要优化 perception 与 speech generation，直接加入 function calling 仍难覆盖任务分解、参数补全、结果反馈和工具不足时的搜索。把大型工具库全部放入语音主模型 context 会增加推理负担；同时缺少与自然语音相适应的、多轮 agent training data。 #### Insight 显式 reasoning trajectory 同时为动作决策和工具检索提供 intent representation。让辅助模型在主模型决定下一动作时寻找候选工具，可以重叠两项工作；只有主模型判断本地工具不足并发出 retrieval action 时才扩展 action space，使工具搜索与语音生成保持相对分工。 #### Method 1. 以 observation、interaction history、local action space 表示状态；语音主模型先生成 intent understanding、context analysis 与 planning 的 CoT，再根据同一状态和局部工具集选择 spoken response 或 tool invocation。 2. CoT 完成后并行运行主模型 action policy 与辅助 LLM 的 global tool retrieval。若主模型发出 retrieve action，则把候选集合并入下一步 local tools；否则保持原集合，并据更新后的状态继续决策。 3. 构建约 470 小时 AgentChat：对 ToolACE、APIGen-MT 与自建工具对话做规则和模型清洗，加入 SciQ、GSM8K、ARC 及常识对话，以 CosyVoice2 和 600 多种 timbres 合成音频。 4. 给定任务输入和正确输出反向生成 reasoning chains，模型评分达到阈值才保留，最多重生三次并精炼格式，用于微调 StepAudio2。保留独立测试子集并构建扩展工具规模的 OOD 数据，按 tool selection、parameter filling、tool insufficiency detection、feedback completeness 等评估六类 agent 能力。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.459.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.459.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.459.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.459.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.459.pdf#page=6) 核读章节：3.1 Unified Definition of End-to-End Spoken Agents · 3.2 VoxMind · 3.3 AgentChat · 4.1 Experimental Setup 核读实际 policy、异步工具更新和数据构造。3.1 中双通道长期记忆、静动态 persona 是一般 agent 定义，笔记未将其全部写成已实现并验证的专门模块。推理链由已知答案反向合成，不等同于自然生成过程的真实因果记录。 ### Analyzing and Internalizing Complex Policy Documents for LLM Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.767/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e95/) #### Idea 该工作用 CC-Gen 控制工具 Agent 的 policy complexity，并提出 Category-Aware Policy Continued Pretraining（CAP-CPT），按 factual、behavioral、simple conditional、complex conditional 四类规则生成专门数据，使模型以短 policy identifier 调用内化规则，减少长政策 prompt。 #### Research Problem 长业务政策增加每轮 token，普通 prompt 压缩却没有区分记忆事实与执行嵌套流程的难度。仅用 gold CoT 交互轨迹 SFT 数据需求高，复杂 workflow 下仍失效；需要先定位规则类型，再为最难规则提供覆盖充分的推理实例。 #### Insight 作者观察 workflow branching 比单纯数据库规模更显著影响执行，因此内化不能只复述政策。事实适合 paraphrase/QA，行为需要示范，条件规则需要具体环境实例下的模拟；CPT 还对整段文本建模，使政策条件和推导过程一起进入训练。 #### Method 1. CC-Gen 在 text-only、single-user-turn 的受控数据库工具环境生成 policy、初始化数据库、可执行工具和 query/gold trajectory；分别参数化 task、workflow、environment、query complexity，主要比较任务数/参数数与 if–else 深度组合。 2. 为每份政策分配 pid，SFT baseline 把完整政策替换为该标识，仅监督 gold reasoning/action token；部署时假设 routing 或 RAG 已选定正确 pid，模型据此调用所学规则。 3. CAP-CPT 由 LLM 抽取 task 类型、specification 和 valid scope，分成四类，必要时人工复核；对所有类型产生政策改写和 QA，对行为规则生成合规示范，对条件规则从数据库抽样场景并推导答案。 4. 把场景模拟、规则数据与辅助交互轨迹组织为训练文本，使用全序列 autoregressive CPT loss，再结合 SFT 完成工具任务适配；区别于只计算 answer/动作 loss 的轨迹模仿。 5. 在不同 workflow/task complexity 与 1k–30k SFT 数据量下测试 Qwen-2.5/3-32B，另迁移到 τ-Bench；同时评估任务 SR、policy-referral QA、policy override/substitution 和一般 instruction following，检查压缩后的能力保持。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.767.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.767.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.767.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.767.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.767.pdf#page=6) 核读章节：Complexity Characterization of LLM-based Agentic Tasks · CC-GEN: Agentic Benchmark Generator with Controllable Complexities · Internalizing Complex Policies · Our Approach · Evaluation of Internalization Methods 已核读受控 generator、四类政策数据和 CPT/SFT loss 区别。主要 CC-Gen 结论限于文本、单用户请求、多工具步环境；pid 选择依赖外部路由，不是模型自动发现正确政策。 ### Beyond Single-shot Writing: Deep Research Agents are Unreliable at Multi-turn Report Revision ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.609/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e68/) #### Idea MrDRE把Deep Research Agents的能力评估从首次生成报告扩展为多轮反馈修订，同时追踪反馈是否落实和原有内容是否被破坏。它结合coverage、citation faithfulness、claim groundedness及presentation，再通过受控content、format和self-reflection反馈观察报告随轮次的变化。 #### Research Problem 现有deep research benchmarks通常只评价一份最终报告，不能说明agent能否在用户要求局部改动时保住其他内容和先前修改。修订看起来响应了新要求，却可能删去已覆盖观点、降低citation质量；若只统计反馈采纳率，这些回归会被掩盖。 #### Insight 同一问题的固定checklist可以同时作为缺漏诊断和跨版本保留参照。从当前未覆盖项产生反馈，让改进目标明确；另统计此前已覆盖但修订后退步的项，则能揭示新增与遗失同时发生的现象，而不被总体平均分抵消。 #### Method 1. 从ResearchRubrics、RigorousBench和ResearcherBench挑选有专家checklist且复杂度足够的问题；LLM按每项0/0.5/1的覆盖程度加权评分，另外抽取atomic claims并抓取citation来源，检查支持、矛盾或证据不足。 2. 以有引用claims为分母计算citation faithfulness，以全部claims为分母计算groundedness，并用十项presentation checklist检查结构与表达，使内容、证据和呈现得到独立评价。 3. Content反馈从本轮未覆盖criteria中抽取k项，并根据评分理由自然化生成请求；Format反馈从21种seed中抽样并按draft适配；Self-reflection只要求自行反思修订。人工核验反馈自然度、针对性、可执行性及格式反馈的内容保留意图。 4. 以Incorporation Rate衡量目标项是否完全补齐或格式要求是否遵守，以Break Rate统计此前有覆盖但本轮下降的criteria；对五种DRA做第二轮全数据测试，并在75题Core Set上研究最多四轮和不同反馈数量。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.609.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.609.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.609.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.609.pdf#page=5) 核读章节：2 Task Definition · 3.1 Data Curation · 3.2 Evaluation Dimensions & Pipeline · 4.1 Feedback Simulation · 4.2 Measuring the Success of Revision · 5 Experiments 已核读完整评价与反馈流程。Break Rate直接衡量checklist覆盖退步，不把它与citation质量变化混成同一指标；factuality依赖提取claims和可抓取来源，非全知事实真值。多轮最多四轮实验使用75题子集，不能将其范围写成全部数据。 ### SOAR: Supervision from Observation for Agentic Reinforcement Learning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1624/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a66/) #### Idea SOAR 把 tool-returned observation tokens 也纳入训练，为其分配由前一步 action certainty 调节的正优势；原本的 reasoning/action tokens 仍接受 outcome-based GRPO 信号。这样 agent 不仅学习哪些行动成功，也学习行动后的环境响应。 #### Research Problem 常规 agentic RL 将环境输出视为纯上下文、mask 掉其梯度，即使 observations 占据搜索轨迹大部分 token，也没有直接学习信号。作者诊断发现动作 entropy 降低时，模型对 observation 的不确定性反而上升，说明动作自信未必伴随对后果的理解。 #### Insight 观测是昂贵交互得到的额外监督，预测这些内容可帮助策略内化工具行为；但全部等权学习可能放大噪声。用同一轨迹中 action entropy 的相对水平调整观测权重，强调模型较确定动作的后续反馈，并避免跨任务 entropy 尺度不同的问题。 #### Method 1. 将 ReAct trajectory 分为 thought、action、observation spans，记录每个 action 的平均 token-distribution entropy，并分析训练中 action/observation entropy 和 token 占比，确定原有 mask 造成的监督缺口。 2. 对轨迹内各轮 action entropy 做均值、标准差归一化，将其负值经 sigmoid 转为 certainty weight；使用 stop-gradient，使这个权重仅控制辅助监督，不通过权重本身反传。 3. 对模型生成 tokens 保留组内 outcome reward 标准化优势；对每段 environment observation tokens 加上由前一 action certainty 缩放的正优势，强度由 λ 控制。观测并非策略采样动作，而在这里作为辅助学习目标。 4. 使用覆盖所有 token 的 clipped importance-sampling objective 与 KL regularization 优化策略，归一化分母也由 policy tokens 改为全部 tokens；在 reasoning、search-intensive 等不同任务上比较结果，并消融 observation weighting 对工具错误与低效使用的影响。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1624.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1624.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1624.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1624.pdf#page=5) 核读章节：Notations and Preliminaries · Diagnostic Analysis on Policy Uncertainty · Supervision from Observation for Agentic Reinforcement Learning 核读 entropy 定义、逐 token 优势和目标函数。动作自信作为观测权重是方法的启发式选择，不代表观测已被证明真实或更有信息；环境 tokens 的学习属于辅助监督扩展。 ### Verify Before You Commit: Towards Faithful Reasoning in LLM Agents via Self-Auditing ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1440/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e176/) #### Idea SAVER 在 Agent 把推理结果用于动作或 memory 前，生成结构不同的候选 belief、筛选互补候选、审计具体证据/逻辑缺陷并最小修复。它把推理质量从“多数候选一致”改为“每步有依据且满足修复验收条件”。 #### Research Problem 正确答案可能来自猜中或补救，流畅 CoT 也可能包含隐含前提、循环论证或不受证据支持的跳步。多个同源候选容易共享错误，整条重写又难确认原缺陷是否真的修好，因此最终答案准确率与 consensus 不足以诊断过程。 #### Insight 不同 persona 暴露不同结构性失败，再按结构多样性分配 audit 预算，可减少反复检查同一种错误。将 critique 转为具体步骤、证据与 acceptance criterion，并只修改受影响片段，有助追踪修复来源；其 faithfulness 是审计协议下的逻辑/证据支持，不等同于证明语言轨迹忠实揭示模型内部因果计算。 #### Method 1. 同一个 LLM 用不同 prompt persona 生成 claim+reasoning 候选，构成内部 reasoning coalition；没有独立参数化 Agent 或 agent-to-agent 通信，默认生成四个候选。 2. 提取 granularity、assumption、verification、global structure 特征，结合轻量 quality score 构建 kernel，用 k-DPP 选两个质量较好且结构互补的 belief 接受审计。 3. auditor 只使用任务、已声明前提、已验证事实和允许证据，定位 Missing Assumption、Invalid Precondition、Unjustified Inference、Circular Reasoning、Contradiction、Overgeneralization 六类违反及其步骤。 4. 把每个违反转换为修复约束和可检查验收条件，目标同时降低残余约束违反与 edit cost；反复 audit/repair，实验最多十轮，最终按质量减去加权残余违反选择执行 belief。 5. 在 HotpotQA、2WikiMHQA、MuSiQue、NQ、FEVER、Quoref 零样本比较 EM/F1，并以统一审计协议统计平均违反、Violation-Free Rate、Unfaithful Step Rate 和修复后残余；不进行任务特定 finetuning。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1440.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1440.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1440.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1440.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1440.pdf#page=6) 核读章节：Methodology · Modeling Faithful Reasoning in Agent · Persona-Conditioned Belief Generation · Structure-Aware Belief Selection · Adversarial Reasoning Audit · Constraint-Guided Belief Repair · Experimental Setup 已核读 k-DPP、六类审计与限轮修复。六个主 benchmark 是 QA/claim verification/local reasoning，未将其当作真实长程工具执行的完整验证；无 detected violation 不表示独立形式化正确性。 ## 03 · GUI / Web / Computer Use 47 篇 · CVPR 13 · ACL 34 ### ReFAct: Empowering Multimodal Web Agents with Visual and Context Focusing CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wu_ReFAct_Empowering_Multimodal_Web_Agents_with_Visual_and_Context_Focusing_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c100/) #### Idea ReFAct 在 Reasoning–Acting loop 中增加 Focusing action，让 Multimodal Web Agent 主动决定图像中哪些区域值得检索、哪些网页内容应暂时移出 context。Visual Focusing 提供精确的 image query，Memory Focusing 则在保留证据可恢复性的同时控制 context 长度。 #### Research Problem 开放世界 VQA 同时存在 visual noise 和 retrieval noise：全图 image search 容易被显著背景吸引，错误实体识别又会污染后续搜索；长网页中的广告、导航和无关段落则占用 reasoning context。单纯增加搜索次数不能修正最初的 grounding 错误，也不能保证检索结果被有效利用。 #### Insight 论文把问题定位为证据进入 reasoning loop 前缺少主动筛选。先对目标区域 grounding，可以改善检索的事实起点；把原始网页与工作摘要分开存储，又能兼顾 context efficiency 和证据回溯。需要区分 framework 与训练范围：论文支持两类 Focusing，但 RL 主要优化 Visual Focusing，并未完成对动态 Memory Focusing 的联合训练。 #### Method 1. Visual Focusing：Agent 预测 bounding box，由 Ground action 裁剪目标区域，再以局部图像进行 image search；检索出的实体与文本事实继续进入 reasoning loop。 2. Memory Focusing：Defocus 将较大的原始内容移入 external memory，在 working context 中保留摘要与唯一 ID；需要细节时，Refocus 按 ID 恢复对应原文。 3. 构建 GroundedVQA：从 SA-1B 图像建立 Image-Knowledge Graph，采样单实体与跨实体问题；通过 rejection sampling 和 human verification 过滤不依赖 grounding 或 external retrieval 的捷径题。 4. 以 Qwen2.5-VL-7B-Instruct 为底座，用 GroundedVQA 与 FVQA 数据执行 GRPO；reward 结合 answer correctness 与 tool-call / bounding-box format，促使模型学会何时进行有效 grounding。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_ReFAct_Empowering_Multimodal_Web_Agents_with_Visual_and_Context_Focusing_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_ReFAct_Empowering_Multimodal_Web_Agents_with_Visual_and_Context_Focusing_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_ReFAct_Empowering_Multimodal_Web_Agents_with_Visual_and_Context_Focusing_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_ReFAct_Empowering_Multimodal_Web_Agents_with_Visual_and_Context_Focusing_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_ReFAct_Empowering_Multimodal_Web_Agents_with_Visual_and_Context_Focusing_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_ReFAct_Empowering_Multimodal_Web_Agents_with_Visual_and_Context_Focusing_CVPR_2026_paper.pdf#page=6) 核读章节：ReFAct Framework · GroundedVQA · Reinforcement Learning 依据正文中的 framework、数据构建和训练设定整理；Insight 为对作者机制的概括，未独立复现实验。 ### WebGym: Scaling Training Environments for Long-Horizon Visual Web Agents with Realistic Tasks CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Bai_WebGym_Scaling_Training_Environments_for_Long-Horizon_Visual_Web_Agents_with_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c158/) #### Idea WebGym 将 realistic visual web agent 的训练扩展为一个完整环境：大规模任务、结构化 rubric evaluator 和 asynchronous rollout system 共同支持 online RL。重点是让 Agent 在未见网站上获得可迁移的操作能力，而不是只在固定 benchmark 网站上记住任务路径。 #### Research Problem 真实网站会动态变化，任务跨度与执行时长差异很大。现有训练集往往网站少、难度单一，成功信号也不像 code execution 那样容易验证；同时同步 browser rollout 必须等待最慢会话，使 CPU 与 GPU 反复空闲，限制了训练规模。 #### Insight 任务 rubric 不仅可以评测，还可以生成 curriculum：将目标拆成 fact groups，再选取有意义的子集，就能得到更容易且仍可验证的任务。另一方面，browser interaction 的延迟高度不均匀，取消 step / episode 同步屏障能直接提高采样吞吐。论文将数据多样性、可靠 reward 和系统效率视为共同决定 scaling 的条件。 #### Method 1. 汇集十个已有任务集，用 GPT-4o 为任务生成包含 fact groups 的 rubric；对满足条件的任务选择 proper subsets，产生较简单的任务，并用 fact 数量定义 difficulty。按 website 划分 train / OOD test，排除测试网站在训练中的任务。 2. Evaluator 先选择承载证据的 keypoint screenshots，再结合 final answer 逐项检查 rubric；只有全部 criteria 满足才给 binary success reward，对具有 reference answer 的任务使用相应校验。 3. 采用 server / client 架构，将 CPU browser workers 与 GPU policy inference 解耦；不同会话独立推进，资源释放后立即处理下一请求。这里的 asynchronous 主要指 rollout 内部，论文的 rollout 与 policy update 仍按轮交替。 4. 在 Qwen3-VL-8B 上进行 REINFORCE-style 更新，仅最大化成功 trajectories 的 likelihood，等价于 online filtered behavior cloning；结合 difficulty sampling 与 horizon cap，控制采样成本并避免冗长成功轨迹主导学习。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_WebGym_Scaling_Training_Environments_for_Long-Horizon_Visual_Web_Agents_with_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_WebGym_Scaling_Training_Environments_for_Long-Horizon_Visual_Web_Agents_with_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_WebGym_Scaling_Training_Environments_for_Long-Horizon_Visual_Web_Agents_with_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_WebGym_Scaling_Training_Environments_for_Long-Horizon_Visual_Web_Agents_with_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_WebGym_Scaling_Training_Environments_for_Long-Horizon_Visual_Web_Agents_with_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_WebGym_Scaling_Training_Environments_for_Long-Horizon_Visual_Web_Agents_with_CVPR_2026_paper.pdf#page=6) 核读章节：Tasks in WebGym and Evaluation Protocol · Rollout System in WebGym · Training Web Agents with WebGym 依据正文的方法与训练章节整理；rubric evaluator 并非完美 ground truth，作者报告了过严判断导致的 recall trade-off。 ### DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Liu_DRS-GUI_Dynamic_Region_Search_for_Training-Free_GUI_Grounding_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c27/) #### Idea DRS-GUI 在最终坐标预测前插入 training-free 的 dynamic region search。UI Perceptor 解析界面语义并提供 Focus、Shift、Scatter 三种调整视野的动作，MCTS planner 搜索最佳区域，最后才把紧凑 crop 交给已有 grounding MLLM。 #### Research Problem 高分辨率 GUI 中大量相似而无关的控件分散注意力，全屏一次预测容易定位错误。现有逐步 crop / zoom 往往只会继续缩小，一旦早期漏掉目标便无法恢复，也缺少判断新视野是否更符合指令的显式标准。 #### Insight 定位错误可能来自选择了不合适的观察区域，而非底模没有坐标能力。把视野选择表示为可回溯的搜索树，并以可交互性、语义相关性和界面覆盖评价候选，可在最终高成本 MLLM grounding 之前剔除干扰并恢复遗漏上下文。 #### Method 1. 用 OmniParser V2 提取元素框、OCR / icon description 和 interactive 标志；Instruction-large embedder 为指令和描述附加同一应用、系统 domain prefix，计算 cosine relevance。 2. Focus 选高相关元素并删除空间离群点，收缩其最小包围框；Shift 把区域移向当前视野外的相关元素并减少与旧框重叠；Scatter 纳入外部线索扩大视野，同时约束扩张尺度。 3. MCTS 以区域、解析元素及 relevance 为节点，先对全图 Focus 初始化，随后按 UCT 选节点、执行未探索动作、评价新区域并回传 reward 和访问次数，在固定预算内保留替代路径。 4. 区域 reward 加权组合 interactive-weighted relevance、元素面积占 crop 比例及由 relevance entropy 得到的 semantic concentration。选最高分区域让 base MLLM 预测点击点，以是否落入 GT box 测 ScreenSpot 系列 grounding accuracy。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_DRS-GUI_Dynamic_Region_Search_for_Training-Free_GUI_Grounding_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_DRS-GUI_Dynamic_Region_Search_for_Training-Free_GUI_Grounding_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_DRS-GUI_Dynamic_Region_Search_for_Training-Free_GUI_Grounding_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_DRS-GUI_Dynamic_Region_Search_for_Training-Free_GUI_Grounding_CVPR_2026_paper.pdf#page=5) 核读章节：Problem Formulation · UI Perceptor · Monte Carlo Tree Search Action Planner · Region Quality Reward 依据正文 perceptual actions、UCT 和 reward 公式整理。搜索中的 region reward 是启发式适合度，不是运行 GUI 动作后的任务成功反馈。 ### DualMirage: Hunting Stealthy Multimodal LLM Agents via CAPTCHAs with Contour and Adversarial Illusions CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chen_DualMirage_Hunting_Stealthy_Multimodal_LLM_Agents_via_CAPTCHAs_with_Contour_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c33/) #### Idea DualMirage 将 contour illusion 与受约束 adversarial perturbation 叠加成 CAPTCHA。第一层利用人类整合虚拟轮廓的能力保留可识别对象，第二层尝试诱导视觉语言 Agent 输出目标身份文本，从被动判断答题失败扩展为主动触发可辨行为。 #### Research Problem 传统 OCR 文字验证码和普通图像识别验证码逐渐能被 MLLM agents 解答，仅凭文本风格或操作行为也难区分拟人自动化。已有轮廓错觉常局限于二值数字、生成成本高或对人类同样含混，需要可批量生成且保持人类可读的视觉挑战。 #### Insight 人类对全局轮廓的整合与视觉 encoder 的特征敏感性可以成为互补判别来源。Contour distortion 提供认知差异，adversarial layer 再改变模型表征，作者认为两者结合更易破坏模型判断。目标文本被生成本身不证明模型真的披露了可信身份，需区分诱导输出与身份鉴定。 #### Method 1. 威胁模型假设待检测 Agent 仅经 GUI 交互，网站方控制 CAPTCHA 生成，并分别讨论可访问目标模型的 white-box 与只用 surrogate 的 black-box 条件。 2. 按亮度构建 foreground/background masks，在 RGB 各通道独立设置彩色 square-wave gratings，使前后景相位相差半周期，在 mask 边界形成 illusory contour，并改变方向、周期和色彩生成多样样本。 3. 在 contour image 上加入 L-infinity 有界 perturbation。White-box 目标提高指定文本序列的生成似然，black-box 用多个 CLIP surrogate 对齐图像与目标文本 embedding，再测试跨模型 transfer。 4. 以 Selfie2Anime 的人物轮廓选择题及不同长度 MNIST 数字串识别构建 CAPTCHA，分别比较 human success、agent blocking 与目标输出诱导成功，检验颜色、轮廓与扰动组合的作用。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_DualMirage_Hunting_Stealthy_Multimodal_LLM_Agents_via_CAPTCHAs_with_Contour_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_DualMirage_Hunting_Stealthy_Multimodal_LLM_Agents_via_CAPTCHAs_with_Contour_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_DualMirage_Hunting_Stealthy_Multimodal_LLM_Agents_via_CAPTCHAs_with_Contour_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_DualMirage_Hunting_Stealthy_Multimodal_LLM_Agents_via_CAPTCHAs_with_Contour_CVPR_2026_paper.pdf#page=5) 核读章节：Threat Model · DualMirage Overview · Colored Abutting Grating Illusion Generation · Privacy-induced Adversarial Illusion Injection · Overall Generation Pipeline · Experimental Setup 依据原文威胁模型、生成算法与评测设计整理。诱导模型名字符串不等于可靠身份确认，是本笔记分析。 ### Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yu_Ego2Web_A_Web_Agent_Benchmark_Grounded_in_Egocentric_Videos_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c36/) #### Idea Ego2Web 把 egocentric video perception 与真实网站执行放进同一 benchmark。Agent 必须从第一人称视频中识别任务所指的对象、品牌、动作顺序或位置，再在网页中完成搜索、信息获取等目标。Ego2WebJudge 进一步把视频证据纳入成功判定，避免只看网页轨迹就宣布完成。 #### Research Problem 现有 Web benchmarks 的视觉输入主要来自屏幕，无法检验用户现实环境如何决定网页任务。例如找出第四个被拿起的零食后查询其热量，失败既可能来自视频 grounding，也可能来自浏览器操作。只对最终网页或文字答案评分，会漏掉找错现实对象但网页流程完整的情况。 #### Insight 跨物理和数字环境的任务存在连续证据链，网页结果必须与视频中指定实体一致。数据构造应保证视觉信息不可省略，评价也必须访问这份信息。把目标拆成可核查 keypoints，再选择相关截图，可降低冗余轨迹对多模态 judge 的干扰。 #### Method 1. 从 Ego4D 收集室内外第一人称视频，用 Qwen3-VL 对分段视频生成结构化 metadata，记录对象、场景和时序事件，建立 video profile。 2. GPT-5 根据 profile 与指定网站池生成需依赖视觉线索的任务。人工审核并修改 visual grounding、website feasibility 与 instruction clarity，得到 500 个 verified video-task pairs，覆盖电商、媒体、知识和地图等任务。 3. Ego2WebJudge 先提取成功所必需的 keypoints，再逐张总结 browser screenshots 并按任务相关性筛选，最后联合任务、action history、关键截图及人工标注的视频 evidence keyframes 给 binary outcome。 4. 在 live websites 上评测六种 Web agents，并用人工判断校验自动评价。不同模型输入采用 captions、稀疏 keyframes 或原始视频，另分析视觉输入形式与下游成功率的关系。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Ego2Web_A_Web_Agent_Benchmark_Grounded_in_Egocentric_Videos_CVPR_2026_paper.pdf#page=1) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Ego2Web_A_Web_Agent_Benchmark_Grounded_in_Egocentric_Videos_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Ego2Web_A_Web_Agent_Benchmark_Grounded_in_Egocentric_Videos_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Ego2Web_A_Web_Agent_Benchmark_Grounded_in_Egocentric_Videos_CVPR_2026_paper.pdf#page=6) 核读章节：3.1. Task Definition · 3.2. Semi-Automatic Data Generation Pipeline · 4. Ego2WebJudge: Automatic Online Evaluation Grounded in Visual Cues · 5. Experiments 依据正文数据与评价设计整理。作者报告 judge-human agreement 约 84%，同时指出频繁失败也会抬高一致率。模型之间视频输入权限不同，因此结果包含感知输入管线的影响。 ### GUI-CEval: A Hierarchical and Comprehensive Chinese Benchmark for Mobile GUI Agents CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Li_GUI-CEval_A_Hierarchical_and_Comprehensive_Chinese_Benchmark_for_Mobile_GUI_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c47/) #### Idea GUI-CEval 将中文移动 GUI agent 的能力评价分成 foundation 与 application 两层：前者用统一 multimodal QA 分解感知、规划、反思及执行后评价，后者在对应应用和页面上测 grounding、offline action prediction 和真实设备 online execution，从而连接局部技能与端到端行为。 #### Research Problem 既有 benchmark 多以英语为主，平台、任务难度和指标也彼此分散。单看 grounding 或最终成功率不能区分是看错界面、选错下一步、无法纠错还是误判完成，且自动采集和模拟环境不足以反映中文 app 的广告、权限、网络及页面习惯。 #### Insight 在同一移动应用生态中把原子判断与实际执行分层配对，可减少跨 benchmark 不可比性，并直接定位能力链断点。将 reflection 和 post-action evaluation 单独测试，也使“能点中控件”与“知道点得是否正确、任务是否完成”分开。 #### Method 1. 在四类实体设备上覆盖 201 个主流 app，采集 screenshot、XML、touch actions 与设备和标注者 metadata；单图覆盖功能页及广告、支付、权限页，轨迹保留真实失败与自动触发事件。 2. Foundation 用统一单选题测 app/page、文本、操作性、规划、相邻动作因果、短长程反思，以及成功判断、指令反推和时间排序；以 Set-of-Marks 候选区域降低坐标表达对能力判断的干扰。 3. Application 中 grounding 测 point-in-box accuracy，offline 测 action type / parameters 的逐步准确率和轨迹成功，online 在真实设备执行无需登录的常用功能，记录成功率、延迟、token 和步数。 4. 构造问题、标签与相近但可区分的 distractors，经人工交叉核查、模型辅助检查及 20% 人工抽样评估形成 8,222 项数据。比较 20 类模型/系统及 47 种配置，按维度诊断反思与执行后判断的薄弱环节。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_GUI-CEval_A_Hierarchical_and_Comprehensive_Chinese_Benchmark_for_Mobile_GUI_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_GUI-CEval_A_Hierarchical_and_Comprehensive_Chinese_Benchmark_for_Mobile_GUI_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_GUI-CEval_A_Hierarchical_and_Comprehensive_Chinese_Benchmark_for_Mobile_GUI_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_GUI-CEval_A_Hierarchical_and_Comprehensive_Chinese_Benchmark_for_Mobile_GUI_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_GUI-CEval_A_Hierarchical_and_Comprehensive_Chinese_Benchmark_for_Mobile_GUI_CVPR_2026_paper.pdf#page=6) 核读章节：Task Definition · Foundation Tasks · Application Tasks · Data Collection and Annotation · Quality Control · Main Results 依据 benchmark 的任务定义、真实设备采集和评价正文。作者指出部分模型仅支持部分任务，整体均分不可脱离覆盖范围直接比较。 ### HATS: Hardness-Aware Trajectory Synthesis for GUI Agents CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Shao_HATS_Hardness-Aware_Trajectory_Synthesis_for_GUI_Agents_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c54/) #### Idea HATS 把 GUI trajectory synthesis 的困难定义为 action 的 semantic ambiguity，并让探索与指令修订形成闭环。系统主动寻找依赖上下文、动作顺序或视觉区分的交互，再通过 instruction replay 检查能否还原原始行为，验证失败又反过来引导后续探索。 #### Research Problem OS-Genesis 等先随机探索再 reverse-synthesize instruction 的方法容易重复简单行为，遗漏真实 GUI 中的语义歧义。即使采到困难动作，一次性写出的目标也可能缺 widget 标识、先决条件或导航背景，导致 instruction 和执行轨迹不一致，污染 SFT。 #### Insight 难度不仅来自 trajectory length，而来自相同动作需要多少上下文才能被正确解释。Instruction 重放能否恢复参考 action sequence 提供可测代理，较低 reconstruction recall 表明仍有语义缺口。它既用于修补监督数据，也作为搜索下一批高价值轨迹的信号。 #### Method 1. HD-MCTS 把 GUI states 与动作表示为 action tree，按 UCB 选择路径、扩展未访问动作、做 bounded-depth rollout；state 可包含 screenshot 与可选 UI tree，工具覆盖 tap、type、scroll、back、long-press、swipe。 2. 从 rollout 中挑选表达连贯用户意图的 reference subsequence，再反向生成 provisional instruction。重置到原起点让 Agent 仅依据该 instruction 执行，获得独立 replay trajectory。 3. 用 Action-Level Reconstruction Recall 比较参考动作是否在状态语境下被语义等价动作恢复。低于阈值或执行失败时补充缺失 context 后重试，预算内达到稳定对齐才将 instruction 与 replay 保存为 Verified Trajectory。 4. 将 recall 的反函数转换为 hardness reward，经 clipping 后沿 MCTS 路径回传到 edge value 和 visit count，使探索偏向难以对齐的区域。最终只有通过验证的数据进入 planning-level/action-level SFT，hardness 还用于训练权重。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Shao_HATS_Hardness-Aware_Trajectory_Synthesis_for_GUI_Agents_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Shao_HATS_Hardness-Aware_Trajectory_Synthesis_for_GUI_Agents_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Shao_HATS_Hardness-Aware_Trajectory_Synthesis_for_GUI_Agents_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Shao_HATS_Hardness-Aware_Trajectory_Synthesis_for_GUI_Agents_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Shao_HATS_Hardness-Aware_Trajectory_Synthesis_for_GUI_Agents_CVPR_2026_paper.pdf#page=6) 核读章节：Hardness-Aware Trajectory Synthesis · Hardness-Driven Exploration Module · Alignment-Guided Refinement Module · Closed-Loop Integration 依据正文方法、算法与数据构建流程整理。 ### HiconAgent: History Context-aware Policy Optimization for GUI Agents CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhou_HiconAgent_History_Context-aware_Policy_Optimization_for_GUI_Agents_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c55/) #### Idea HiconAgent 的 History Context-aware Policy Optimization（HCPO）联合优化 GUI 历史使用与压缩：Dynamic Context Sampling 在 rollout 中改变历史长度，Anchor-guided History Compression 在浅层视觉融合后删除旧截图 tokens、保留历史 action tokens，再对齐完整与压缩分支的行为分布。 #### Research Problem 仅保留 past actions 的 GUI agents 丢失截图中的状态信息，而全量历史会增加 attention 计算和无关干扰。作者的受控 rollout 显示不同样本偏好不同历史长度，更多历史并不总是更好。直接套用单图 token pruning 也忽略 GUI 中动作与历史图像的关联机制。 #### Insight Layer-wise token-drop experiments 表明，历史 action tokens 在早期与对应 screenshot tokens 融合后，可成为向后层传递相关视觉语义的 anchors。因此应先融合再压缩，并通过训练让 anchors 承担这一功能。可变长度采样提供不同上下文条件下的成功策略，完整上下文更新再将策略统一到推理设置。 #### Method 1. 用 history lengths 0、1、2 的多次 rollouts 分析每个样本的 reward，并在不同 transformer depths 分别删除历史 actions、images 或二者，定位历史信息传递模式。 2. DCS 为同一任务采样不同 truncated histories，组内归一化 rewards 得到 advantages。ExpBias 分布早期近似均匀，随训练逐渐偏向较长历史；更新 logits 时把 sampled responses 配回完整历史。 3. AHC 建立共享 responses 和 advantages 的双分支。完整分支按 GRPO 更新，压缩分支在 early fusion depth 后移除历史视觉 tokens，保留 past actions、当前 screenshot 和 instruction，再做 GRPO-style 更新。 4. 增加 history-enhanced KL alignment，以 stop-gradient 的完整分支指导压缩分支。最终 loss 合并两个 policy losses 和 alignment，在 AMEX 上训练，并在 AndroidControl、AITW、GUI-Odyssey 评测 grounding、step success 和计算开销。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhou_HiconAgent_History_Context-aware_Policy_Optimization_for_GUI_Agents_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhou_HiconAgent_History_Context-aware_Policy_Optimization_for_GUI_Agents_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhou_HiconAgent_History_Context-aware_Policy_Optimization_for_GUI_Agents_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhou_HiconAgent_History_Context-aware_Policy_Optimization_for_GUI_Agents_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhou_HiconAgent_History_Context-aware_Policy_Optimization_for_GUI_Agents_CVPR_2026_paper.pdf#page=6) 核读章节：4. Rethinking History Usage: Limitations of Fixed Context and the Anchoring Role of Actions · 5.1. Dynamic Context Sampling · 5.2. Anchor-guided History Compression · 6.1. Implementation Details 依据正文 token-drop 研究与 HCPO 公式整理。DCS 是训练中的历史长度采样方案，不能直接称为推理时独立学习的 history-length selector。 ### iSHIFT: Lightweight Slow-Fast GUI Agent with Adaptive Perception CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Mehrotra_iSHIFT_Lightweight_Slow-Fast_GUI_Agent_with_Adaptive_Perception_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c162/) #### Idea iSHIFT 在约 2.5B 的 GUI agent 中结合 latent thinking 与 conditional visual perception。模型先以全局 screenshot 特征进行隐式思考，简单动作直接生成，需要精细坐标时输出 perception control tokens，再调用 DINO 特征增强路径后作答。 #### Research Problem 大型 GUI 模型以较高成本同时处理常规动作和细粒度 grounding，显式文字 CoT 又增加交互延迟。独立的外部 controller 将快慢路径切换与模型内部决策分开，难在紧凑模型中同时学习推理表示、何时追加视觉计算和最终动作。 #### Insight 动作对视觉精度的需求不同，可通过统一 token 接口选择额外感知计算。将中间推理保留在连续 hidden states，允许模型在不输出长段自然语言的情况下形成控制表示，再用该表示引导局部视觉特征注入。 #### Method 1. 基于 Qwen2-VL-2B，输入 screenshot 与 instruction，默认进入 Fast Path；在 <bot> 与 <eot> 之间将前一步 hidden state 转成下一输入 embedding，绕过 vocabulary decoding 形成 latent thought。 2. 先用小数据集在 thought positions 填入显式自然语言进行初始化，再替换成 latent tokens，并扩大训练数据，减少大规模逐条 thought annotation 需求。 3. 按 action requirements 程序化标注 fast / slow：需要精确坐标的点击等动作加入 <bop>、<ctrl>、<eop>，滑动等可由全局信息决定的动作走 fast。模型据此学习生成触发 slow path 的 token。 4. Slow Path 用 DINO 重编码图像，通过 cross-attention projector 将 image features 与 h_ctrl 融合，得到 z_p 后注入 MLLM sequence 并生成最终动作。以 AITW、AndroidControl、GUIOdyssey 和 GUIAct 检验动作匹配、类型及成功指标。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Mehrotra_iSHIFT_Lightweight_Slow-Fast_GUI_Agent_with_Adaptive_Perception_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Mehrotra_iSHIFT_Lightweight_Slow-Fast_GUI_Agent_with_Adaptive_Perception_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Mehrotra_iSHIFT_Lightweight_Slow-Fast_GUI_Agent_with_Adaptive_Perception_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Mehrotra_iSHIFT_Lightweight_Slow-Fast_GUI_Agent_with_Adaptive_Perception_CVPR_2026_paper.pdf#page=5) 核读章节：The iSHIFT Slow-Fast Approach · Training the Implicit Shift · Architecture Components · Latent Thinking Tokens · Visual Perception Module 读取完整 token 控制和训练机制。快慢选择的监督由动作类别程序化提供，因此没有把它描述成仅凭 RL 自主发现的通用计算预算策略。 ### Learning to Adapt: Self-Improving Web Agent via Cognitive-Aware Exploration CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chen_Learning_to_Adapt_Self-Improving_Web_Agent_via_Cognitive-Aware_Exploration_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c67/) #### Idea SCALE 让同一 web agent 分别扮演 Selector、Predictor 和固定 Judger，自主选择不熟悉动作、预测结果、实际执行并对照，再用预测失败经验更新选择与预测能力。SCALE-Hop 维护全局探索图，避免在少数网页区域不断重复试探。 #### Research Problem 依赖手工 task pipelines 或昂贵 expert trajectories 的训练容易限制网站和任务多样性。普通探索后逆向生成任务虽减少人工目标，却未主动区分已经理解的操作和知识边界，因而浪费大量交互于熟悉动作，还可能陷入局部页面。 #### Insight 对 action consequence 的预测错误可作为当前能力缺口的操作性定义。Selector 寻找能够让 Predictor 出错的行为，真实环境 transition 提供反馈，Judger 将失败转成解释。全局图与随机验证则判断何时局部已足够熟悉，应转向别处。 #### Method 1. 用 Set-of-Mark 编码 GUI 截图。Selector 根据 observation 选择陌生动作并解释理由，Predictor 预测执行后的结果和原因，随后在真实环境执行，Judger 比较前后 observation 与预测是否一致。 2. 若预测错误，Judger 生成实际结果及解释，保存 observation、action、选择理由和纠正标签。若正确则重置到原状态重新选动作，收集一批失败经验后分别 SFT Selector 与 Predictor，Judger 保持固定。 3. SCALE-Hop 用 observation 与 URL 形成节点、动作 transition 形成边；同 URL 用截图 SSIM 区分不同状态。局部停滞时随机选动作验证预测，全部正确才标 fully explored，并回退最近未完成节点。 4. 从 19 个真实网站的探索生成 SCALE-20k：逆向构建单步任务，从图中提取连贯多步路径生成任务与 reasoning，并为页面节点生成 comprehension QA，以不同监督形式训练下游 web agents。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Learning_to_Adapt_Self-Improving_Web_Agent_via_Cognitive-Aware_Exploration_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Learning_to_Adapt_Self-Improving_Web_Agent_via_Cognitive-Aware_Exploration_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Learning_to_Adapt_Self-Improving_Web_Agent_via_Cognitive-Aware_Exploration_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_Learning_to_Adapt_Self-Improving_Web_Agent_via_Cognitive-Aware_Exploration_CVPR_2026_paper.pdf#page=5) 核读章节：SCALE · SCALE-Hop · Graph Representation · Verification-Guided Backtracking · SCALE-20k 依据正文 three-role update 与图探索整理。Cognitive boundary 在文中由预测成败近似，Judger 的自动标签并非外部人工真值。 ### MMBench-GUI: A Unified Hierarchical Evaluation Framework for Multi-Platform GUI Agents CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wang_MMBench-GUI_A_Unified_Hierarchical_Evaluation_Framework_for_Multi-Platform_GUI_Agents_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c75/) #### Idea MMBench-GUI 提供四级 GUI 能力评测，依次检查 Content Understanding、Element Grounding、单应用 Task Automation 和跨应用 Task Collaboration。它覆盖六大平台，并用 Efficiency-Quality-Aware（EQA）衡量不同 step budgets 下的成功率，联合呈现能否完成与完成所需动作量。 #### Research Problem 分散的 GUI benchmarks 各自测截图问答、坐标定位或最终任务成功，难追踪底层感知错误如何影响长程执行，也难跨平台比较。仅报告 success rate 会把少量动作完成和大量回退后完成视为相同能力，掩盖定位、规划和状态追踪造成的交互浪费。 #### Insight 将感知、定位和控制放在共享 GUI 场景基础上分层评价，更容易区分能力瓶颈。效率应从成功与预算的关系衡量：越早完成任务，在 success-vs-step-budget curve 下覆盖的面积越大。跨应用任务还必须明确存在信息传递依赖，才能实际测到协作与全局一致性。 #### Method 1. 收集 Windows、macOS、Linux、iOS、Android 和 Web 截图，人工标注 Text/Icon 元素 boxes。L1 用 Claude 3.7 生成分难度 MCQA，经 o4-mini、o3 和人工抽查修正；L2 同时构造视觉描述式 Basic 与功能隐含式 Advanced instructions。 2. L3 整合 OSWorld、AndroidWorld、WebArenaLite-v2 和 WindowsAgentArena 等交互环境，统一 click/type/scroll 接口，清理不稳定任务，以 final-state programmatic checks 判断成功。 3. L4 从已有任务或人工设计中选取需在多应用间传递信息的 workflow，并加入 MacOSArena 的 70 个任务，均分单应用和跨应用两类，补充 macOS 评测覆盖。 4. L1 使用考虑选项数的 weighted accuracy，L2 使用 point-in-box accuracy。L3/L4 同时报 SR 与 EQA：在统一离散预算上截断 episodes，累计并归一化成功率，惩罚依赖长且冗余轨迹才能成功的行为。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_MMBench-GUI_A_Unified_Hierarchical_Evaluation_Framework_for_Multi-Platform_GUI_Agents_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_MMBench-GUI_A_Unified_Hierarchical_Evaluation_Framework_for_Multi-Platform_GUI_Agents_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_MMBench-GUI_A_Unified_Hierarchical_Evaluation_Framework_for_Multi-Platform_GUI_Agents_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_MMBench-GUI_A_Unified_Hierarchical_Evaluation_Framework_for_Multi-Platform_GUI_Agents_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_MMBench-GUI_A_Unified_Hierarchical_Evaluation_Framework_for_Multi-Platform_GUI_Agents_CVPR_2026_paper.pdf#page=5) 核读章节：2.1. Design Goals and Hierarchical Overview · 2.2. Task Levels · 2.3. Data Sources and Annotation · 2.4. Evaluation Metrics 依据正文分层设计、标注管线和评价定义整理。六平台覆盖是整体 benchmark 属性，并非正文表明每个平台都具备完全相同的在线任务环境。 ### See, Think, Act: Teaching Multimodal Agents to Effectively Interact with GUI by Identifying Toggles CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wu_See_Think_Act_Teaching_Multimodal_Agents_to_Effectively_Interact_with_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c121/) #### Idea State-aware Reasoning（StaR）专门训练 GUI agent 在 toggle 操作前比较当前与期望状态：先看开关现在是否开启，再解析用户想达到的状态，只有二者不同时才 CLICK，否则声明 COMPLETED。论文同时构建成对正负指令的 state control benchmark 来显式测量过度点击。 #### Research Problem 许多 agent 把“打开通知”直接映射为点击通知开关，即使当前已经打开，反而使状态错误。已有定位数据不能充分揭示这种 toggling bias，外部 parser 的状态提示也没有改善模型自身视觉状态理解；仅提醒关注状态的 prompt 效果有限。 #### Insight Toggle 指令描述的是目标状态，点击只是可能的状态转换，二者不能直接等同。对同一截图构造需要点击与无需操作的相反指令，可以隔离状态依赖的决策能力；再把当前状态、期望状态和比较结果作为训练链，使 no-op 成为合法成功行为。 #### Method 1. 汇总 AMEX、RICOSCA、GUIAct、AndroidWorld、AITW 和 OS-Atlas 的截图与 boxes，并用 OmniParser 补充可点击元素。Qwen-2-VL-72B 与 GLM-4V 独立识别 toggle，核对 state 和 functionality，一致样本进入数据。 2. 从 40,918 个 screenshot–box–state–function tuples 各生成两条相反指令，一条标签 CLICK，另一条 COMPLETED，形成 81,836 样本及平衡 train/test。分别测 action type、坐标匹配、false positive 与 false negative。 3. 用 Perceiving→Analyzing→Deciding 三段改写 reasoning：识别当前状态 σ，推出目标 σ_u，再以 σ 是否等于 σ_u 决定动作。对通用 agentic datasets 仅改写涉及 toggle 的步骤，保留其他推理格式。 4. 以 toggle training split 联合 AndroidControl、AITZ、GUI-Odyssey 继续训练四种 agent，保持各自原始 prompt 和 action format；同时比较 prompting-only、静态任务泛化和 AndroidWorld 框架下 20 个动态 toggle 任务。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Think_Act_Teaching_Multimodal_Agents_to_Effectively_Interact_with_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Think_Act_Teaching_Multimodal_Agents_to_Effectively_Interact_with_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Think_Act_Teaching_Multimodal_Agents_to_Effectively_Interact_with_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Think_Act_Teaching_Multimodal_Agents_to_Effectively_Interact_with_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Think_Act_Teaching_Multimodal_Agents_to_Effectively_Interact_with_CVPR_2026_paper.pdf#page=6) · [PDF p. 7](https://openaccess.thecvf.com/content/CVPR2026/papers/Wu_See_Think_Act_Teaching_Multimodal_Agents_to_Effectively_Interact_with_CVPR_2026_paper.pdf#page=7) 核读章节：State Control Benchmark · Evaluation of Multimodal Agents on State Control Benchmark · Methodology · Training Datasets · Evaluation Metrics · Improvements on State Control Benchmark 核读正文方法与实验设置；页码按官方 PDF 实际页序标注。数据标签为双模型一致性标注，人工抽样显示并非全无误差。 ### Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Kumbhar_Towards_GUI_Agents_Vision-Language_Diffusion_Models_for_GUI_Grounding_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c138/) #### Idea 论文将 discrete diffusion VLM LLaDA-V 适配到 GUI grounding，把截图和指令映射为包含 action type 与 bounding box 的文本，并提出 hybrid masking schedule 强化坐标之间的几何依赖。研究重点是单步定位可行性与精度/延迟取舍，而非完整长程 GUI agent。 #### Research Problem Autoregressive VLM 主导 GUI grounding，diffusion 的双向注意力、并行生成和迭代修正是否适合精确操作尚不清楚。一般线性随机 mask 很少持续提供“已知左上 anchor、预测右下 extent”的条件，因而可能弱化 bounding-box 的内部结构学习。 #### Insight Bounding box 的第一对坐标决定 anchor，第二对决定 spatial extent。把部分训练显式改成条件补全后者，可以更频繁学习二者依赖；这比只增加 denoising steps 更直接针对结构化输出，同时保留原模型通用 diffusion inference。 #### Method 1. 保持 LLaDA language tower、SigLIP-2 vision tower 与 MLP projector 架构，将单截图、自然语言 instruction 和 normalized [0,1000] 坐标组成训练样本，输出 lclick、hover 或 type_in action string。 2. 对目标 action tokens 施加 masked discrete diffusion corruption，仅对被 mask 的位置训练 reconstruction likelihood，视觉与指令作为条件。推理仍从全 mask response 开始，迭代预测并重 mask 低置信 tokens。 3. Hybrid schedule 结合 standard linear masking 与 full deterministic masking：后者提供 action type、anchor 坐标和输入图文，把 extent 坐标作为完全遮蔽的预测目标，增加几何依赖的条件学习机会。 4. 从 Mind2Web 小样本适配扩展到包含 WebLinX、OS-Atlas、Rico 的多域数据，并比较 target-centered crops 与 full screenshots。评测要求 action type 正确且预测 box center 落入目标 box，同时消融 diffusion steps、generation/block length 对 latency 与准确率的影响。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Kumbhar_Towards_GUI_Agents_Vision-Language_Diffusion_Models_for_GUI_Grounding_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Kumbhar_Towards_GUI_Agents_Vision-Language_Diffusion_Models_for_GUI_Grounding_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Kumbhar_Towards_GUI_Agents_Vision-Language_Diffusion_Models_for_GUI_Grounding_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Kumbhar_Towards_GUI_Agents_Vision-Language_Diffusion_Models_for_GUI_Grounding_CVPR_2026_paper.pdf#page=5) 核读章节：GUI Grounding · LLADA-V · Adaptation for GUI Grounding · Linear Masking Phase · Full Deterministic-Masking Phase · Training Data 依据正文单步任务与 hybrid masking 方法整理；没有把 single-turn grounding 结果扩展为多步规划能力。 ### OS-Symphony: A Holistic Framework for Robust and Generalist Computer-Using Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1021/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e119/) #### Idea OS-Symphony 将通用 computer-using agent 组织为 Orchestrator、Reflection-Memory Agent 与多种专用工具代理，使长流程操作同时具备可压缩的历史、按需获取的图文教程和不同操作通道。核心改变是把经验维护、知识获取与具体执行显式分工，而非让单个模型不断重读截图并自行猜测下一步。 #### Research Problem 长时电脑任务会累积大量重复截图，有限上下文难以保留关键转折；面对陌生应用或缺少操作知识时，单纯依靠模型参数知识及文本检索又容易反复尝试。直接调用代码或通用视觉定位也不能保证修改在真实 GUI 中生效，因此需要跨代理反馈与执行验证。 #### Insight 历史信息的价值取决于是否改变任务状态，而非出现的时间；milestone 标记可保留关键界面并压缩冗余。失败还应区分 GUI 操作、教程缺失、代码错误和意图偏离，因为各类问题需要不同补救。把当前截图纳入检索问题，可让教程与实际界面状态对齐。 #### Method 1. Orchestrator 结合用户指令、最新截图、最近 K 轮记录、轨迹反思及检索教程规划动作，并选择 GUI Grounder、OCR Grounder、Coder 或 Searcher。 2. 辅助 VLM 根据操作前后截图、局部放大区域及上一步输出生成执行摘要和成功信号；Reflection-Memory Agent 维护摘要、截图和 milestone，输出 On-track、Completed、Infeasible、Off-track 等状态及可复用知识。 3. Multimodal Searcher 在独立浏览器环境读取渲染页面，以视觉浏览动作检索并交叉核对教程，完成后将结构化操作知识加入主代理上下文，避免搜索改变主任务环境。 4. General Grounder 利用视觉和语义定位，OCR Grounder 从带文本、ID 与 bbox 的候选中选择目标；Coder 按定位文件、检查、原地修改、验证的流程执行，随后仍由 Orchestrator 检查 GUI 结果并决定恢复或继续。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1021.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1021.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1021.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1021.pdf#page=5) 核读章节：Orchestrator · Reflection-Memory Agent · Versatile Tool Agents · Multimodal Searcher · Grounders · Coder 核读架构、记忆状态更新和工具代理流程。上述机制依据作者正文；将其概括为状态驱动的信息保留是本笔记的分析，未把 GUI 验证解释为形式化正确性保证。 ### UI-Copilot: Advancing Long-Horizon GUI Automation via Tool-Integrated Policy Optimization ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.904/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a42/) #### Idea UI-Copilot 让 GUI policy 专注动作执行，把历史事实检索和数值计算交给按需调用的轻量 copilot。它将 progress summary 与详细 observation/reasoning 分离存储，并通过 Tool-Integrated Policy Optimization（TIPO）分别学习何时调用辅助工具和怎样完成多步交互。 #### Research Problem 长程 GUI 中完整 thoughts 与 action history 交织会造成 memory degradation、progress confusion 与 math hallucination。已有小型 agents 在短程任务可用，但跨应用记住价格、执行汇总计算时容易遗漏或重复操作，固定 multi-agent workflow 又带来额外调用成本。 #### Insight 任务执行所需的短期状态与之后可能复用的细节应采用不同 memory lifetimes。保留简短已完成事项可清晰跟踪进度，详细事实外存后再取回；工具选择先用有标签单步学习，动作执行再用自身历史多轮训练，有利于避免联合探索过大。 #### Method 1. 推理 policy 输出 tool call、thought、action 与 summary。Retriever copilot 读取本地历史知识、当前任务和 summaries 返回相关事实；Calculator copilot 生成 Python，再由 interpreter 返回实际计算结果。 2. 对话 history 仅累积 action 与 progress summary，完整 thought 和显式观察外存到知识文件，下一步不默认重放全部推理。Policy 可选择 Retriever、Calculator 或 none。 3. 从 AndroidControl expert trajectories 用 GPT-4o 补注 tool/thought/summary，再合成 memory-intensive 和 calculation-needed queries，划分 SFT 与两类 RL 数据。先 SFT 初始化 policy，copilot 本身不参与 policy 训练。 4. TIPO 对 tool 数据用 expert summary history 做 single-turn prediction，并按格式与工具标签奖励；对 action 数据做无工具的 on-policy multi-turn rollout，以格式、action type、grounding accuracy 和 discounted future reward 优化，再以 group-relative clipped objective 与 KL 更新。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.904.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.904.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.904.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.904.pdf#page=5) 核读章节：UI-Copilot · Memory Decoupling · Dataset Curation · Tool-Integrated Policy Optimization 依据正文 decoupled training 整理，训练时 tool selection 主要由伪标签/规则奖励监督，并非真实 copilot 闭环执行的端到端 RL。 ### A Functionality-Grounded Benchmark for Evaluating Web Agents in E-commerce Domains ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.68/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e10/) #### Idea Amazon-Bench用网页真实可交互功能来驱动任务生成，扩大到地址、wishlist、账户、店铺及gift card等操作，并将任务失败区分为无状态损害与产生非预期状态变更两类。它把电商agent能力从搜索商品扩展为是否能正确且可靠地修改用户状态。 #### Research Problem 电商benchmarks偏重商品搜索，难以覆盖真实网站的丰富功能；仅给LLM商品属性生成query，也可能要求页面并不存在的操作。传统success/failure二分还把未找到商品和错误下单、误删地址混为一类，无法揭示同样未完成任务时不同的用户影响。 #### Insight 功能多样性主要存在于button、form等交互元素的差异，而不是商品描述的差异。围绕这些元素采样并生成query能减少大量重复产品页的主导；同时将结果与用户授权的状态变化对应，可以把过程可靠性补充到完成率之外。 #### Method 1. 以breadth-first方式探索Amazon页面，按URL pattern划分十类功能，共收集60612个URL；抽取按钮、下拉框与输入栏可见文本，并用BERT embedding的平均两两cosine dissimilarity估计类别内部功能差异。 2. 按功能diversity分配页面采样量，并为低多样类别保留最低份额；将页面HTML简化为AXTree，使用GPT-4.1生成有页面功能依据的query，再改写为自然用户表达并人工复核，最终形成400项任务及47条人工示范轨迹。 3. 让agent直接与live Amazon网站交互，统一实现使用query、全页AXTree和action history作为观察，提供click、fill、select、stop、back、goto和hover操作；另比较观察范围和动作形式不同的产品agents。 4. 向LLM judge提供query、动作序列和逐步截图，将轨迹归为success、benign failure或harmful failure；后者关注错误订单、账户设置或购物车等非预期变更，从而同时分析完成能力与状态损害。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.68.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.68.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.68.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.68.pdf#page=6) 核读章节：3 Amazon-Bench · 3.1 Webpage Exploration · 3.2 Webpages Sampling · 3.3 User Query Generation · 3.4 Safety-Aware Evaluation Metric · 4.1 Experimental Setup 已读任务生成、采样公式和在线评价正文。功能相似度是交互文本embedding proxy；harmful failure由judge结合截图与轨迹判定，不是全部后端状态的形式核验。不同agent产品的观察范围和动作空间不同，性能差异不能只归因于backbone。 ### Anchor: Branch-Point Data Generation for GUI Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.774/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e96/) #### Idea Anchor 从少量验证过的桌面轨迹中寻找 branch points，在已经到达的 GUI 状态提出可执行的新目标，复用可靠前缀并生成不同后缀。再通过任务相关的 reasoning filtering 和意图一致性检查，把扩增轨迹转成较干净的训练监督。 #### Research Problem 人工 desktop demonstrations 成本高，纯任务合成容易目标与界面不匹配，开放式探索则常产生短而零散或长而漫无目的的操作。轨迹整体被判成功也不意味着每一步都适合模仿，尤其共享前缀的理由可能属于原任务而非新的分支目标。 #### Insight 新窗口、面板或内容出现时，界面已经暴露一组真实 affordances，是扩展任务比从零想象更可靠的起点。同一动作序列可以服务多个用户目标，因此监督应重新解释该动作对当前任务的作用，并用实际前后截图排除无法 grounding 的解释。 #### Method 1. 从 OSWorld 的 117 个和 WindowsAgentArena 的 51 个任务环境收集候选成功轨迹，人工核验完成情况、效率与副作用，保留可靠且较短的 seed。GPT-5.1 每条选 3–5 个显著 UI 变化点。 2. 对 branch prefix 总结进度，结合当前截图提出新任务；恢复环境到该状态，由 GUI agent 执行。若动作或环境与任务细节不一致，允许把任务改写为可行且语义接近的目标，再总结整条轨迹并验证最终状态。 3. 对共享前缀的每步，按后续任务采样 10 个 action–reason 候选，检查动作是否匹配日志及截图变化，只保留有支撑的 reasoning。对分支后每步检查意图与视觉变化的一致性，剔除噪声监督但保留后续有效步骤。 4. 形成 1,777 条 Ubuntu/Windows 成功轨迹用于 fine-tuning，并在两个桌面 benchmark 评测。另随机人工审查 100 条自动接受轨迹，87 条判断一致，用于估计自动 verifier 的可靠性。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.774.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.774.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.774.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.774.pdf#page=5) 核读章节：Data Generation Recipe · Step-Level Filtering and Denoising · Analysis of Synthetic Trajectories · Evaluation Benchmarks 核读分支生成、任务修订与筛选过程。合成轨迹成功是相对于最终总结的任务，不能理解为最初提出的分支指令均被忠实完成；人工审查只覆盖抽样子集。 ### Android Coach: Improve Online Agentic Training Efficiency with Single State Multiple Actions ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.613/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e69/) #### Idea Android Coach 将在线 GUI RL 的训练单位从 Single State Single Action 扩展为 Single State Multiple Actions：昂贵 Android rollout 提供状态，策略在这些状态上重采样多个动作，再由在线训练的 critic 估值，以增加每次真实交互产生的训练信号。 #### Research Problem 模拟器初始化、恢复和环境步进占据大量训练时间，普通 PPO/GRPO 往往仅利用一条 rollout 中实际执行的动作。直接为同一 GUI 状态分叉执行多个长程轨迹又受环境不可逆性限制，初始不可靠的 critic 也会误导策略。 #### Insight 额外动作的比较可以在模型侧完成，而真实环境负责校准 critic。PRM 的逐步正确性和最终成功共同形成回报，使 critic 具有局部及长期目标；同状态候选动作的平均价值提供 baseline，无需再学习单独的 V 网络。其收益依赖预测价值的质量，并非额外动作都得到真实执行验证。 #### Method 1. 从 AndroidControl 和初步 rollout 收集成功、无冗余轨迹；初始策略生成动作，与原成功动作匹配得到正负标签，GPT-4o 补判断理由，形成约 20k 样本，以 SFT 训练先推理再判断的 PRM。 2. critic 使用与策略相同架构并加 value head，先在上述二元分数上预训练；随后策略在并行模拟器中收集完整轨迹，PRM 标注过程奖励，Outcome Verifier 给最终成功奖励。 3. 组合加权过程回报与 outcome reward 生成 Monte Carlo target，以 clipped MSE 更新 Q critic，避免训练初期直接用未经准备的价值估计指导 actor。 4. 复用每个线上状态，从当前策略独立采样 k 个动作，以 critic 预测各 Q；ACLOO advantage 为该动作 Q 减去其余 k−1 个动作的平均 Q，以 PPO clipped surrogate 更新 actor，不增加这些候选的模拟器执行。 5. 交替执行 rollout、critic 更新、候选采样与 actor 更新，在 AndroidLab、AndroidWorld 比较任务成功率和达到相同成功率所需训练时间。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.613.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.613.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.613.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.613.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.613.pdf#page=6) 核读章节：Android Coach · Train a Reliable Coach · RL Guided by Coach · Putting it Together · Experiment Setup 已核读 PRM 数据构造、critic target 与 ACLOO 公式。ACLOO 的无偏 baseline 性质不代表 learned Q 等于真实环境回报，额外动作未真实 rollout。 ### C-World: A Computer Use Agent Environment Creator ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2001/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e231/) #### Idea C-World提供可按需创建computer-use环境的系统，将工具动作空间、任务分布、状态转移和reward四个部分组合起来，并支持真实API与World Engine模拟两种运行方式。其重点是批量生成带长程依赖及复杂约束的跨应用任务，让同一环境同时供应能力评估和训练轨迹。 #### Research Problem 现有agent环境常由人工围绕少数领域定制，扩展新工具、任务与异常情况成本高；只测试单轮function calling或schema遵从也不能反映长期执行和恢复能力。全依赖live API虽真实，却受费用、限流和服务漂移制约，难以持续生成大量交互数据。 #### Insight 环境可拆成相对独立的接口层、任务生成层、状态控制层与评分层，而工具schema和类别共性为模拟转移提供先验。受控干预可重复触发恢复问题；约束密集的任务则让评测聚焦跨步骤协调，而不只是发出语法正确的tool call。 #### Method 1. 从MCP registry及人工补充整理276 servers、204应用的5571个工具，验证认证可用、调用成功及返回可用；以server、名称、description和schema签名建立BGE-M3/FAISS索引，通过search_tools按需发现工具。 2. 采样1–3个seed tools，检索相近工具并跨server均衡组包；LLM生成统一目标任务，再循环检查tool coverage及constraint quality并修订。query做模糊化改写以降低工具名keyword shortcut。 3. 以运行时State Controller截获调用和观察，按预设策略注入tool故障、状态漂移及任务约束变化；真实模式执行live服务，模拟模式用类别card、schema、few-shot和session log生成保持上下文一致的响应。 4. 组合日志可验证的schema、顺序及来源多样性评分，与三模型majority-vote的完成度、grounding等语义评分；使用同backbone的Planner分解并监控sub-goal graph，Actor按ReAct发现和调用工具，生成评测及后续训练轨迹。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2001.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2001.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2001.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2001.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2001.pdf#page=6) 核读章节：2.1 Action Space: Extensible Toolset · 2.2 Task Distribution: Task Creation Engine · 2.3 Transition Function: State Controller · 2.4 Reward Signal: Evaluation Protocol · 3.1 Realistic Environments · 3.2 Synthesized Environments · 4 Agent Framework 核读四部分环境及两种后端正文；World Engine近似API行为，论文所报Spearman排名相关性不意味着单次响应或真实状态转移等价。日志规则与LLM语义judge的证据性质已区分，约束生成和模糊改写也不保证消除全部合成偏差。 ### Closing the Spatial Execution Gap in Digital Whiteboards via Verifiable Reinforcement Learning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.630/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d64/) #### Idea 论文以 Whiteboard-8 将白板上的空间操作转为有确定性奖励的任务，训练小型 VLM 按 Identify–Reason–Verify 协议计算几何约束并输出可执行 JSON。其改变是把视觉理解后的精确坐标与 schema 合规作为直接训练目标。 #### Research Problem 通用模型能描述图形，却可能无法把语言意图转换成坐标、对象 ID、连接关系和合法 API 操作；仅扩大模型或模仿固定布局，不能可靠解决空间执行错误。需要既能区分语法与几何问题、又能反复生成训练场景的可验证环境。 #### Insight 白板 DOM 提供精确对象属性，使几何正确性可用距离、IoU、角度与集合关系检查，不必仅依赖语言评判。将结构化空间推理与实际执行奖励联合优化，可把检查和计算习惯写入小模型，而多 agent 反馈可先找到稳定的提示协议。 #### Method 1. 在 TLDraw 中把 observation 定义为 screenshot 加 serialized JSON object list，action 必须符合白板 schema 且执行无错误。构建连接线、标注、视觉重心、迷宫、异常删除、遮挡、图邻接和箭头对齐八类任务。 2. 为各任务写确定性 accuracy reward，例如端点到中心距离、文字是否在边界内、重心偏移改善、墙体零 IoU、邻接 precision/recall 和方向角余弦。format reward 检查 think/answer、Identify–Reason–Verify 结构、最低 reasoning 长度与 JSON。 3. Questioner 提供任务与反馈，Solver 每题生成 3 个候选，按格式和准确性选最好结果；Optimizer 汇总失败统计，默认两轮更新全局指令，用 600 个样本发现训练协议。 4. 以 Qwen2.5-VL-3B 为策略，在 6,000 个程序生成场景上做 GRPO，使用组内标准化奖励与 KL 约束；训练、验证和测试用不同随机种子。基线也使用相同优化提示及 few-shot 示例，以比较额外 RL 的效果。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.630.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.630.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.630.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.630.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.630.pdf#page=6) 核读章节：Problem Formulation · Benchmark and Verifiable Reward Engineering · Task-Specific Accuracy Rewards · Format and Reasoning Reward · Curriculum Discovery via Multi-Agent Interaction · Optimization · Environment and Dataset 核读任务奖励、prompt discovery 和 GRPO。实验输入包含结构化对象 JSON，不是仅凭截图的通用 GUI 操作；结果支持本文生成的八类白板任务范围。 ### DAC-Bench: A Decision-Aware Benchmark for Compositional Mobile GUI Tasks ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2064/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e238/) #### Idea DAC-Bench 将 mobile GUI 指令构造为带约束的有向任务图，覆盖 Sequential、Conjunctive、Conditional、Hierarchical 四类结构，使评测从单步点击匹配扩展到长序列进度和分支选择；包含 830 个复杂 episode、11,345 个动作，横跨 Android 与 iOS。 #### Research Problem 已有数据常以模板替换或线性拼接扩展任务，缺少应用特定条件和 fallback 分支。Exact Match 与整条全对的 Success Rate 又分别过于局部或过于稀疏，难区分任务中后段的进度损失和条件判断错误。 #### Insight 任务难度不仅由动作数量决定，也来自约束联合满足与屏幕条件驱动的分支。以图结构控制这些因素，再单独度量动作序列与决策节点，能定位不同失败类型；但正文评测每步提供标注截图、局部指令和约束，属于受控动作预测诊断，不能直接视作自由在线完成率。 #### Method 1. 人工为每个 app 提供可执行 atomic instructions，多种 LLM 根据 app 描述扩写，并为每条提出数值、阈值、布尔、时间或偏好约束；模型筛选和人工验证去除不可执行、重复与简单 slot 替换。 2. 采样任务图结构、长度和分支深度，LLM 选择 atomic nodes、绑定约束边并生成全局指令。混合多个生成器后再检验逻辑与真实性，形成顺序链、无固定顺序的合取、二叉条件与嵌套条件任务。 3. 20 名标注者在真实 Android/iOS 手机执行并记录截图、局部指令、动作及参数，使用统一动作集；允许标记不可完成任务，随后双人及作者复核，并额外构建 250 条原子任务对照。 4. 除 EM、Type Match、SR、Goal Progress 外，W-LCS 对与 gold 序列匹配的位置按序号加权，给予后部正确动作更高权重；Decision Accuracy 单独统计条件节点的正确分支。 5. 按各 Agent 官方实现测试并映射统一动作，每步输入全局指令、局部指令、当前标注截图及适用约束；按结构与长度分析组合任务带来的性能下降。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2064.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2064.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2064.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2064.pdf#page=5) 核读章节：Atomic Instruction and Constraints · Compositional Tasks Construction · Dataset Annotation · Evaluation Metric · Experiment Setting 已核读任务构建、动作标注、W-LCS 公式和逐步输入协议。未将全步正确的离线 SR 解释为无需中间提示的在线执行成功率。 ### Don’t Act Blindly: Robust GUI Automation via Action-Effect Verification and Self-Correction ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1335/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e163/) #### Idea VeriGUI让GUI agent在每步行动前显式检查上一动作是否产生预期视觉效果，以Thinking–Verification–Action–Expectation循环连接行动、效果预测和失败恢复。训练把正常轨迹与合成的无变化失败轨迹混合，再通过对虚报成功更重的惩罚强化自我检查。 #### Research Problem 现有GUI agents常隐含假设发出的动作都会执行，遇到网络延迟、渲染或系统干扰时可能继续错误计划，或反复点击同一无效目标。在线RL成本高，离线数据又通常只包含顺利完成的示范，缺少“已经尝试但没有产生效果”这种恢复所需的经验。 #### Insight 上一时刻的expected effect可以成为下一张截图上的具体检查假设，使失败不再只靠最终任务结果暴露。通过旧截图与声称已经执行动作的历史配对，可低成本制造视觉上可辨别的NO_CHANGE样本；对误报成功施加更强惩罚则改变模型过度乐观的验证倾向。 #### Method 1. 每步输出结构化thinking、对上一步的SUCCESS或NO_CHANGE判断、可执行JSON action及下一步预期效果；失败时推理标签转向Diagnose和Recovery，再提出修正行动。 2. Robust SFT混合成功样本及合成失败样本：后者保留执行前截图、附加已执行的历史，目标要求识别无变化并生成修正动作；GPT-4o为两类样本生成结构化CoT及效果参考。 3. 在离线混合数据上采样多条response，用GRPO优化复合reward：action与ground truth比对；只有动作正确时才计算预测效果与参考的BERTScore；verification正确得正奖励，漏判与虚报成功分别受不同强度惩罚。 4. 使用group-normalized advantage、token级clipped objective及reference KL约束更新3B/7B模型，在AndroidControl等离线数据以及MiniWoB++、AndroidWorld在线环境评估，并另构造失败识别与恢复测试。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1335.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1335.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1335.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1335.pdf#page=5) 核读章节：3.1 Problem Formulation · 3.2 TVAE Inference Cycle · 3.3 Stage 1: Robust Supervised Fine-Tuning · 3.4 Stage 2: Verification-Action-Effect GRPO · 4 Experiments 已核读训练样本构造与奖励公式。隐式模拟主要假定错误动作留下不变屏幕，不能涵盖全部错误状态转移；action reward确实使用ground-truth动作，故不把训练说成无动作监督。效果一致性是BERTScore proxy，TVAE并非正确性保证。 ### Don’t Click That: Teaching Web Agents to Resist Deceptive Interfaces ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.310/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e28/) #### Idea DUDE 在 web agent 与点击执行之间加入 task-aware evaluator，判断点击是 legitimate、deceptive 还是 ineffective，并通过 hybrid-reward learning 与经验总结提高判别。它把防御落实到具体任务和坐标，而非只检测网页是否含 dark pattern 或让 agent 一律拒绝交互。 #### Research Problem 欺骗性按钮、弹窗和伪装链接会把视觉 agent 引向偏离用户目标的动作；独立 dark-pattern detector 缺少任务语义，简单拒绝又使正常操作受阻。防御需要区分高风险误放行与低风险保守拒绝，并将重复失败转成可迁移的规则。 #### Insight 同一界面元素是否有害取决于用户任务和点击落点，因而截图、任务与坐标应共同输入 evaluator。误批准欺骗动作的代价高于误拒正常动作，可用不对称奖励表达；失败案例的共性则能以短文本经验补充模型参数中的判别知识。 #### Method 1. 建立 RUC 的 1,407 个 screenshot–task 场景，标注正确与欺骗 bounding boxes；正常样本来自 ShowUI-web，欺骗样本结合真实网页和合成 HTML，覆盖新闻、预订、购物和软件，并人工验证区域。 2. 从正确框、欺骗框中心以及其他区域采样点击，训练 evaluator 输出三分类和 confidence。奖励根据正确性、confidence、错误严重程度、区域面积及距离因素加权，对把欺骗点击批准为正常设置较大惩罚。 3. 收集负奖励样本形成 failure pool，配合 success anchors 由 multimodal summarizer 更新经验文本；重复失败提高优先级，每轮重测后在成功与失败池之间移动样本，直到结束条件满足。 4. 推理时将经验与评估模板一起提供给 evaluator，仅批准正常点击，其余触发 agent 放弃该动作继续探索；在固定 held-out 场景上同时评估欺骗敏感性与任务操作能力，并分析两个训练阶段贡献。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.310.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.310.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.310.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.310.pdf#page=5) 核读章节：Problem Formulation · Stage 1: Hybrid-Reward Learning · Reward Formulation · Error Collection · Stage 2: Experience Summarization · Inference · RUC Benchmark 核读奖励、经验池与 gate。证据重点为标注点击场景；正文对 confidence adjustment 的文字直觉与公式方向存在张力，因此仅概括其实际参与因子，不把其校准性质当作数学保证。 ### Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1670/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e200/) #### Idea PEEU 先让 Agent 自主探索网站，再从实际状态变化归纳 hindsight experience，重写与已执行轨迹一致、约束更具体的高层任务，用这些任务训练小型 MLLM 的规划能力。另以 TDHAF 分析原子、子任务和高层任务之间的组合泛化。 #### Research Problem 从首页生成的粗任务可能要求轨迹没有满足的条件，而只训练单步 atomic skills 又未必教会模型长程组合。把失败探索仍绑定原指令会产生错误监督，直接检索经验到小模型上下文也不一定转化为规划能力。 #### Insight 实际前后状态比最初愿望更能说明轨迹完成了什么；将轨迹回标为确实完成的高层任务，可利用原本错配的数据，并保留跨步约束。作者的泛化实验支持高层任务训练的价值，但不是证明任意低层技能都能自动组合或所有检索方案均无效。 #### Method 1. 给定 URL，GPT-4o 读取首页，自主生成任务列表并逐题交互，最大探索深度 15；把共享首页的观测—动作轨迹组织为 exploration tree。 2. 逐步比较动作前截图、动作和后截图，提取 atomic experience；将一条轨迹的经验聚合，去除低层操作描述，生成符合实际结果且包含可见条件的高层 PEEU task。 3. 以重标任务、当前状态及历史预测下一动作，分别进行 SFT 或 GRPO。附录的 RL reward 包含 WebVoyager 动作格式正确性和答案正确性两项，各为 0/1。 4. 在 Qwen2.5-VL-3B/7B 上控制数据规模与参数，对比原粗任务、atomic task 和两种经验检索 prompt。约 0.1k 数据来自 Allrecipes，2k 补充来自与七个测试网站互斥的来源，按 WebVoyager trajectory success 评估。 5. TDHAF 将任务分 low/mid/high 三层，分别训练低层测试高层、训练高层测试低层，以及跨网站多层测试，区分 ID bottom-up、ID top-down 和 OOD compositional generalization。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1670.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1670.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1670.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1670.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1670.pdf#page=6) · [PDF p. 14](https://aclanthology.org/2026.acl-long.1670.pdf#page=14) 核读章节：Method · Experimental Settings · Task Decomposition Hierarchical Analysis Framework · PEEU Algorithm Details · PEEU Experiment Details 已核读经验回标、训练设置、TDHAF 与附录 reward/数据划分。2k 补充网站不属于七个 held-out 测试网站；不把回标轨迹理解为原目标已成功。 ### Experience-driven Multi-turn Reinforcement Learning for GUI Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.428/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e41/) #### Idea EMPO把专家GUI轨迹作为可复用的环境经验，在离线截图序列上进行带自生成历史的multi-turn RL。模型动作与经验匹配时沿专家状态前进，偏离时由Patch Module注入正确动作及可选合成推理，让rollout继续到后续步骤，并以未来回报和两层advantage优化长程行为。 #### Research Problem single-turn RL训练时使用专家历史，部署时却面对自己的推理和动作，造成history distribution mismatch；真正在线multi-turn RL可缓解这一问题，但GUI交互昂贵、回报稀疏。直接在离线轨迹上遇错就停止，则大量后续状态无法用于训练，限制数据利用和长程credit。 #### Insight 专家轨迹同时记录了动作与对应下一状态，因而对匹配动作可充当受限transition oracle。让模型保留自己的成功推理历史可更接近部署输入；必要时修补历史能保住后续训练机会，但该过程仍受专家路径限制，不能等同于任意动作下完整的在线探索。 #### Method 1. 从公开human trajectories抽取截图、动作与任务，当前policy在自生成history上采样多条rollout；仅当format、action type和准确性均匹配经验时，才转移至专家下一截图。 2. 遇到不匹配时用expert action替换，并分别尝试无推理、teacher生成推理或当前policy在expert hint下生成推理的Patch策略；设最大patch次数，修补后的history继续用于后续生成。 3. 按格式、类型、动作准确性构造分层rule reward；在每个未被patch打断的自然segment内累计discounted future returns，将同一步跨rollout的标准化advantage与episode-level信号组合。 4. 用token级clipped policy objective及KL约束更新，动态采样确保advantage有足够方差；比较SFT、single-turn GRPO/DAPO和EMPO，最终UI-S1以SFT cold start后用1000条experience做RL，并在离线与在线GUI任务验证。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.428.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.428.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.428.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.428.pdf#page=5) 核读章节：3.1 Problem Formulation · 3.2 Experience-driven Multi-turn Rollout · 3.3 Patch Module for Trajectory Recovery · 3.4 Policy Optimization · 4.1 Experiment Setup 核读rollout、patch、future return及训练objective。作者称其on-policy multi-turn训练，但patch明确注入expert action，故笔记保留这一边界；future return按natural unpatched segment截断。正文episode return写为R_T，未擅自替换为其他定义或据此扩大理论主张。 ### From Off-Policy to On-Policy: Enhancing GUI Agents via Bi-level Expert-to-Policy Assimilation ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1082/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e127/) #### Idea BEPA 用两级 expert-to-policy assimilation 把强 GUI expert 的轨迹转成当前 end-to-end policy 能学习的指导：先让学生按专家计划自行执行，再用其新产生的成功轨迹持续刷新缓存。仅当一组 on-policy rollout 全失败时，才注入一条成功缓存轨迹。 #### Research Problem 可执行 GUI 任务和 expert demonstrations 数量有限，而 framework-based expert 常含多角色规划、grounding 或学生动作空间外的操作。简单格式转换或把静态专家数据混入 RL，仍会留下结构与分布差异，导致训练不稳定甚至退化；纯 on-policy RL 又容易因稀疏奖励陷入全失败。 #### Insight 专家的价值可以保留为高层计划，具体动作应由学生在环境中重新实现，以靠近其可达分布。随着策略改变，旧指导也会过时，因此缓存应由当前策略的成功替换；条件注入既为无差异失败组提供正信号，又让可自主探索的任务继续由自身 rollout 驱动。 #### Method 1. LEVEL-1 将成功 expert trace 抽象成简短自然语言 subgoal plan，附在原指令后，让 base policy 在真实 GUI 中 self-roll；只保留通过确定性最终状态 verifier 的轨迹，初始化每任务 guidance cache。 2. LEVEL-2 每轮为任务采样一组 on-policy 轨迹；若其中存在成功，默认随机选一条更新该任务缓存，使指导随策略演化而变化。 3. 若所有新轨迹失败且缓存非空，则用缓存成功轨迹替换一条失败轨迹，重新计算 group-normalized advantages 并应用 clipped GRPO。混合训练使用原始指令，移除 LEVEL-1 的专家计划前缀。 4. 在 OSWorld-Verified 中按 expert 或 base policy 可解性构建有信息的任务池，使用 128 个训练任务、241 个 held-out 任务，并测试 MMBench-GUI 与 Online-Mind2Web 的迁移，比较静态专家混合与两级适配的效果。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1082.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1082.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1082.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1082.pdf#page=5) 核读章节：Preliminaries · Bi-Level Expert-to-Policy Assimilation · LEVEL-1: Self-Rolled Execution · LEVEL-2: Off-Policy Assimilation · Integration with GRPO · Experiment Setup 核读专家重执行、动态缓存、条件替换及任务划分。OSWorld 全集指标包含训练任务，泛化应以正文单列的 held-out 与跨 benchmark 结果判断。 ### GTA: Generating Long-horizon Tasks for Web Agents at Scale ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.856/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a41/) #### Idea GTA 把网站 crawling 与任务生成解耦：先缓存网页图，再检索并组合有关联的页面生成需要跨页证据的任务，同时保存答案与可回放路径。这使长程 Web Agent 数据生成可以复用一次抓取，而不必每生成一题重新运行昂贵探索 Agent。 #### Research Problem 人工 benchmark 规模有限且常只有起点和目标；基于 LLM rollout 的自动生成又成本高、偏向显眼页面，并可能只产生可由搜索摘要回答的浅层任务。需要同时保证站点覆盖、真正 multi-hop 依赖和过程级可执行证据。 #### Insight 网站图可以同时承担探索覆盖与可达性约束，而语义检索将相近页面配对后，生成器可围绕共同关系提出综合问题。质量检查必须排除两个独立问题的简单并列；自动校验仍非全正确保证，作者人工抽样答案一致率为 87%，真实性评分也低于所比较的 AgentTrek。 #### Method 1. 对公开网站 breadth-first crawl，为页面保存 accessibility tree，并在发现更短路线时更新 canonical parent，构建网页节点与 hyperlink 边组成的缓存图。 2. 用 encoder 为页面编码，从 seed page 检索候选相关页面并随机选一个 partner，将两页内容交给 LLM 生成问题和答案；multi-hop 定义要求至少两个不同页面贡献必要证据。 3. 依次检查真实组合依赖、基于支持页面可验证的答案、限定条件是否充分以及唯一性，并确认图内存在获取充分证据的可执行路径；保留 query、answer、缓存图和最小路径。 4. 在五十余网站生成 5,000 个站内任务，并在医疗与金融网站组构建 600 个跨站任务；公开生成流程使用户可重新抓取网站，刷新时效性内容。 5. 用搜索摘要 baseline、首层页面覆盖、人工答案检查及复杂度/实用性/真实性评分诊断数据；再测试 Browser Use、AgentOccam 的站内、跨站和多语言表现。覆盖率是特定站点的首层节点统计，不等同于所有网页功能完整覆盖。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.856.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.856.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.856.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.856.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.856.pdf#page=6) 核读章节：Benchmark Construction · Benchmark Details · Page-Coverage Analysis · Human Evaluation · Baselines 已核读生成、四级验证、人工检查与 baseline 正文。保留人工可靠性与 realism 的实际结果，未沿用正文中把整体优势泛化为所有维度最优的表述。 ### GUI0: Self-Evolving Foundational GUI Agents in Super App Ecosystems ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2052/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e235/) #### Idea GUI0将Super App中的GUI学习做成数据合成、能力预训练、actor强化和curriculum agent协同演化的流程。它先从真实交互建立感知与状态变化基础，再让任务生成者围绕当前actor约一半可完成的难度持续出题，推动学习超出固定指令集合。 #### Research Problem Super App的mini apps具有非标准控件、混合渲染和深层导航，通用GUI训练难以充分覆盖；固定SFT轨迹和静态RL任务也容易在模型掌握后失去挑战。仅提高点击grounding不足以应对长程任务，需要感知、动作效果理解和可随能力变化的训练分布。 #### Insight 同一批交互不仅可监督下一动作，也能反向推断任务、学习screen描述和前后状态关系。先形成共同GUI基础，再依据actor实际成功率生成边界难度任务，可让课程随着能力增长而变化；成功过的rollout同时作为生成指令可执行性的经验依据。 #### Method 1. 用Action Tracker记录截图和交互，按image hash串联状态—动作—下一状态并剪除循环；VLM反向生成instruction和CoT，经VLM过滤及人工核验，构造state transitions、screen descriptions、multi-turn VQA、reflection和trajectory reasoning五类数据。 2. 在2.34M合成样本上做Agentic CPT，再用带CoT的轨迹SFT actor；single-step GRPO结合格式、think/action一致性、subgoal F1及类型匹配后的坐标和文本奖励，强化单步执行。 3. 转入online multi-turn GRPO，以格式及大模型判定的trajectory success训练完整任务；Curriculum Agent从CPT初始化，与Actor共同更新，奖励min(S,1−S)偏好成功率近0.5的任务，并加入有上限的长度奖励。 4. 以至少一次actor rollout成功作为instruction valid gate，持续扩展课程；在230个任务、172个mini apps的SuperAPP Benchmark及AndroidControl、ScreenSpot、AndroidWorld等环境测量step或task成功，SuperAPP成功需自动评价与人工核验一致。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.2052.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2052.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2052.pdf#page=5) 核读章节：3.1 Preliminaries · 3.2 Agentic Data Synthesis · 3.3 GUI0 Training Framework · 4 Experimental Setup · 5.1 Main Results 1: SuperAPP Benchmark Evaluation 核读全部三阶段训练及数据规模。I_valid通过actor至少成功一次定义，是经验可解性筛选，不是外部规划证明；VLM一致性与trajectory judge提供训练信号，论文称unbiased evaluator并不构成统计无偏证明。合成训练数据与评测隔离按作者说明记录。 ### InfiniteWeb: Scalable Web Environment Synthesis for GUI Agent Training ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1313/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e161/) #### Idea InfiniteWeb 自动生成可供 GUI agent 训练的多页面网站、任务与 evaluator。它先统一任务驱动的数据模型和接口，再分别实现业务逻辑与视觉前端，解决单页代码生成扩展到完整网站时的跨页不一致问题。 #### Research Problem 现有 GUI 训练长期局限于人工构建的少数应用，增加同一环境内的指令或轨迹无法带来足够功能和视觉多样性。直接让 LLM 生成网站又容易出现 API 参数不一致、关键流程不可用、样式趋同，以及缺少可靠训练奖励等问题。 #### Insight 训练环境的核心是 agent 所需任务路径可执行，而不必先证明整个商业网站所有功能正确。让任务、数据、代码和测试共享统一规格，可以把验证资源集中在这些路径；真实参考图提供视觉变化，应用状态与 instrumentation 则自然提供部分完成奖励。 #### Method 1. 从 Common Crawl 提取 website seeds 与设计参考图，为每种网站先生成用户任务，再统一设计 entities、页面结构和 API signatures；区分系统管理参数与用户输入参数，使各页面共享一致接口。 2. Task-Centric Test-Driven Development 先生成满足任务的数据，再并行生成测试和实现；运行测试，把失败用例、预期与实际结果及代码交给模型修复，迭代到通过或达到上限。 3. Design-Guided Frontend 从参考图抽取配色、字体、间距与组件规则，建立公共页面框架，再生成各页 HTML/CSS/JS 并绑定 backend SDK；数据存于 localStorage，实现无后端服务器的跨页持久化。 4. 结合应用原有状态和新增进度检查点生成 JavaScript task evaluators，按关键步骤提供 partial credit。分别评估网站功能、视觉质量以及用生成环境训练 UI-TARS 后在 OSWorld、Online-Mind2Web、MobileWorld 的迁移表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1313.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1313.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1313.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1313.pdf#page=6) 核读章节：Overview · Unified Specification Stage · Task-Centric Backend · Design-Guided Frontend · Automatic Evaluator Generation · Experimental Setup 核读网站生成与奖励实现。功能验证针对 task-induced execution paths，论文并未证明生成网站在全部输入与业务路径下正确；网站生成比较采用统一 backbone。 ### InquireMobile: Teaching VLM-based Mobile Agent to Request Human Assistance via Reinforcement Fine-Tuning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1487/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e183/) #### Idea InquireMobile 在 GUI 动作空间加入 call_user，通过 SFT 冷启动和规则奖励 GRPO 学会在需要澄清或确认时向用户求助，同时保留普通点击、输入等能力。InquireBench 用真实手机触发的复杂界面检验询问时机和内容。 #### Research Problem 常规自主 Agent benchmark 假定指令清晰且操作可以直接执行，难覆盖登录、权限、含糊意图或交易等需要人参与的节点。仅提示模型谨慎未必使它真正选择询问，也无法保证其询问后仍能完成任务。 #### Insight 询问需要作为可训练、可评价的行动选择，而不能只是自然语言风格。把“为什么询问”和面向用户的具体内容分别标注，并同时奖励动作类型和参数，可促使模型在关键界面触发 call_user；BLEU 内容奖励衡量参考措辞相似度，并非用户授权是否充分的语义证明。 #### Method 1. 在真实 Android 手机 random walk 收集 80,345 张界面，人工筛选需要介入的情况，归为 Intent Confirmation、Privacy and Security、Risk、Combination、Others 五类及 22 个子类，获得 975 个 inquiry 样本。 2. 人工为截图编写设备可执行且符合类别的任务，GPT-4o 生成询问理由与用户消息，再由人工保留、修订或重写；另整理 3,000 条普通 GUI 数据，标注轨迹中的 thought 与动作。 3. 以 Qwen2.5-VL-3B 进行 LoRA SFT，学习 think/tool_call 结构和九种动作，然后 GRPO 对每个输入生成多个候选；训练混合 inquiry 与普通 GUI 样本。 4. 奖励为格式、动作类型、参数三项之和：格式正确 +1、错误 −1；类型须匹配 gold；坐标落入目标 bbox 得分，type/call_user 的文本参数用归一化 BLEU 与参考比较。 5. 在模拟器及实体手机上测试正文另述的 190 条中英指令，报告 Task SR、适时正确询问的 ISR 与 GPT-4o completion score；作者报告 ISR 52.6% 而整体 SR 7.9%，表明询问提升尚未消除导航和执行失败。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1487.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1487.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1487.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1487.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1487.pdf#page=6) 核读章节：InquireBench · Inquiry GUI Data · General GUI Data · InquireMobile · Stage 2: Rule-Based RL Training · Implementation Details 已核读标注、两阶段训练和奖励。正文数据节写 173 个采集任务，实验节写 190 条测试指令，笔记区分这两个口径；未将 inquiry 样本数误作独立在线测试任务数。 ### MaDS: Long-Horizon GUI Automation via Synergizing Dual-Layer Memory and Multi-Round Debate ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1202/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e144/) #### Idea MaDS将双层memory与执行前multi-round debate结合：通用交互规范提供基础约束，场景化操作经验保存成功示例及失败警告；Planner的动作在真正执行前由Evaluator结合当前视觉证据反驳和修订，执行后再将结果写回记忆。 #### Research Problem 长程mobile GUI任务中的早期定位或规划错误会沿后续步骤累积，部分错误无法轻易撤销。只存成功轨迹或按坐标复用经验容易受到页面噪声与布局变化影响；仅在动作后检查的reviewer也难以阻止高代价错误，因此需要检索、规划与当前屏幕约束共同发挥作用。 #### Insight 经验可存为action intent和语义目标，而不绑定旧屏幕坐标；失败记录可以转成下一次执行前的禁止条件。全局任务检索用于规划、当前step检索用于反驳，使宏观意图与微观可执行性分别受到检查，但这些检查仍由模型完成，不能保证阻止所有错误。 #### Method 1. Semantic Knowledge Memory预置43条Android交互规范；Operational Experience Memory保存scene、task、abstract process signature、结果hash、成功标签及reason，既记录positive demonstrations也记录negative warnings。 2. 按任务或当前step检索相关通用规则与场景经验；先限定scene范围，相关性不足则回退全局检索。反思写入的新节点经过hash去重、语义融合与utility pruning，并保留失败警告。 3. Planner提出计划，Evaluator按当前step补检索，并结合规则遵从、目标可见性和逻辑一致性给结构化confidence；低于阈值时提供反驳并重规划，达到辩论轮数上限则执行记录中最高confidence的计划。 4. 执行后用前后截图及操作意图判断结果、归因并更新memory；在作者构建的271项、11个应用、平均15.5步的MaDS-Benchmark中采用过程导向分析，定位感知、检索、规划与执行阶段的问题。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.1202.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1202.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1202.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1202.pdf#page=6) 核读章节：3.1 Memory Module · 3.1.1 Dual-Layer Storage Structure · 3.1.2 Retrieval and Maintenance · 3.2 Collaborative Multi-Agent Architecture · 3.2.1 Multi-Round Debate · 3.2.2 Reflection · 4 MaDS-Benchmark 核读memory字段、检索维护、debate评分和fallback。目标可见性由Evaluator判断而非外部oracle，confidence不是校准概率；最大轮数后仍执行最高分方案，因此不将其描述为绝对安全门。reflection中的cause来自模型归因，未视为经干预确认的因果证据。 ### MAGNET: Towards Adaptive GUI Agents with Memory-Driven Knowledge Evolution ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1299/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e157/) #### Idea MAGNET 用双层外部记忆适应 mobile GUI 的 appearance drift 与 workflow drift：procedural memory 保存可迁移任务流程，stationary memory 将图标等视觉实例与功能意图关联。新交互持续补充视觉变体和流程，而无需更新基础模型参数。 #### Research Problem 历史数据训练的 GUI agent 面对应用改版，可能认不出变形图标或继续沿用失效菜单路径。单纯存原始轨迹又容易把偶然界面细节当作固定规律，缺少对多个视觉实现、稳定功能语义和记忆新旧程度的分别管理。 #### Insight 界面外观和操作路径会变化，但功能含义与任务意图相对稳定。按这两种稳定因素分别检索，可以让 planner 借用抽象 workflow、actor 借用功能对应的视觉证据；同时按使用历史和创建时间排序，可优先利用仍相关的经验。 #### Method 1. 对成功任务的 instruction embeddings 建立相似图并提取 maximal cliques，聚合轨迹生成带类别占位符的高层 workflow。planner 根据新指令检索相关流程，结合当前截图和历史拆解 subtasks。 2. 从 screen–action–screen triplets 用 OmniParserV2 找点击区域并裁剪 patch，再由 Qwen2.5-VL-32B 推断功能描述，形成 stationary memory；UI-40K 包含 41,009 个条目和 20,618 种功能意图。 3. actor 按 subtask 检索功能描述对应的 patches：通用 MLLM 直接接收视觉示例，固定输入的 grounding model 则用 template matching 定位参考中心并绘制邻近图标提示框。 4. 成功完整轨迹更新 procedural memory；产生有效 UI 变化的单次点击即可更新 stationary memory，将同功能新外观并入现有条目。检索先按语义筛选，再结合 retrieval frequency、inactivity gap 与创建时间排名；在离线分布偏移划分及 AndroidWorld 在线任务中评估。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1299.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1299.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1299.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1299.pdf#page=5) 核读章节：Experience-enhanced Planner with Procedural Memory · Knowledge-grounded Actor with Stationary Memory · Dynamic Memory Evolution · Memory Content Update · Memory Ranking for Retrieval · Experimental Setup 核读双记忆构建、更新、排名与评测。离线 SR 是逐步动作正确率，不是整任务成功率；在线 AndroidWorld 才采用任务完成评估。 ### MAS-Bench: A Unified Benchmark for Shortcut-Augmented Hybrid Mobile GUI Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.316/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e29/) #### Idea MAS-Bench 以 139 个真实 Android 任务评测 GUI 与 API、deep link、RPA shortcut 的混合使用，并进一步测试 Agent 能否把重复操作抽象成可复用 shortcut。基准不仅看任务完成，还观察时间、步数、token 和调用结构。 #### Research Problem 纯 GUI benchmark 无法衡量快捷接口降低交互开销的价值；只给预置 shortcut 又无法检验经验积累。不同生成 Agent 自身能力还会混入 shortcut 质量比较，因此需要固定下游执行者，单独评估其生成的知识库。 #### Insight 快捷调用的价值来自压缩已知、稳定的子流程，GUI 则补足未封装的动态步骤。故 benchmark 故意提供不完整 shortcut coverage，迫使 Agent 做混合规划；把各生成器的库交给同一个 baseline，可以更清楚地比较可复用流程本身的效果。 #### Method 1. 在动态 Android 环境构建 11 个 app、139 个任务，以 snapshot reset 和专门测试账户控制初态；覆盖单 app、跨 app 与不同难度，并设计重复子任务和逐步追加需求的变体。 2. 收集 11 个 intent API、70 个 deep link 和 7 个 RPA，共 88 个预置 shortcut。API 来自官方文档和包分析，经标准 IPC/ADB 调用；deep link 对应 URI 入口，RPA 封装高频多步流程。 3. 统一 click/swipe/type 等 GUI 与 shortcut 两类动作。知识库仅提供任务的部分子功能；reference agent 检索相关 shortcut 并结合截图或 UI tree 决策，也将同类说明注入不同模型的 prompt，无需更新权重。 4. 对 shortcut generation，生成 Agent 先探索并建库，再把库导入固定 baseline 执行同批任务；比较 action replay、动态 grounding 和 MobileAgent-E 等生成方式，以及纯 GUI 与预置库条件。 5. 报告成功率、步数及相对步数、执行时间、token、shortcut 调用数、调用成功率和 GUI 比例共九项指标；MAS-Bench-Eval 先将轨迹转成动作/状态变化描述，再由较强 MLLM 根据语义历史、终屏和任务判断成功，并与人工轨迹标注校准。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.316.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.316.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.316.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.316.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.316.pdf#page=6) 核读章节：Online Evaluation Environment · GUI-Shortcut Hybrid Action Space · Shortcut Knowledge Base · Tasks Design for GUI-Shortcut Hybrid Agent · Systematic Hybrid Agent Evaluation · Evaluation Methodology 已核读混合动作、数据来源、生成库对照和自动评测。效率结论对应有可用 shortcut 的任务分布，不扩展为所有手机操作均可被 shortcut 替代。 ### Measure Twice, Click Once: Co-evolving Proposer and Visual Critic via Reinforcement Learning for GUI Grounding ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.960/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e115/) #### Idea CoPC把GUI grounding从直接输出一个坐标改为Propose-then-Critic：同一MLLM先提出多个位置，再观看标有候选ID的截图，排序并选择目标。训练同时优化生成与辨别，并根据两种能力的成熟度动态调节空间探索和排序奖励，使候选覆盖能力能够转化成最终点击精度。 #### Research Problem GUI中相似控件密集，模型常理解了语义却不能准确定位；Pass@k远高于Pass@1说明正确候选可能存在，但连续坐标分散使几何聚类或取中位数难以可靠选择。未经训练的VLM critic能排除随机噪声，却容易被落在其他合理控件上的近邻候选迷惑。 #### Insight 把坐标画回截图可把数值回归转成可见的候选辨别，但生成者和critic必须一起提高：候选更逼真会提供更难的negative，critic更可靠才适合鼓励更广的搜索。过早同时最大化多样性和准确性会发生冲突，因此以双方表现的EMA控制辅助奖励强度。 #### Method 1. 同一policy在不同prompt下承担Proposer与Critic；前者单次生成K个坐标，visualization函数在原图画候选编号，后者在保留生成context的情况下输出候选排序，top-1坐标作为最终预测。 2. 用到ground-truth中心的Gaussian distance score及落入bounding box的hit reward衡量Proposer准确性；对候选坐标covariance determinant做有界变换形成coverage reward，鼓励空间分布多样。 3. Critic以所选top-1的distance quality获得基础reward，再用基于候选真实距离排序的NDCG奖励整体ranking质量，避免只学会简单排除远处随机点。 4. 分别用accuracy和NDCG的EMA表示Proposer、Critic maturity；最终Proposer reward由accuracy加critic maturity加权coverage组成，Critic reward由top-1加proposer maturity加权NDCG组成，基于GRPO联合优化两个角色。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.960.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.960.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.960.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.960.pdf#page=5) 核读章节：3 Motivation · 4 Methodology · 4.1 Propose-then-Critic Paradigm · 4.2 Proposer and Critic Reward Design · 4.3 Why Propose-then-Critic? A Mechanism Analysis 已读motivating observations、角色共享及全部reward定义。maturity是训练指标EMA，不是概率置信校准；coverage依赖坐标几何分散，不保证语义覆盖。critic只能选择已有候选，不能在全部候选都错时提供正确性保证。 ### MirrorCAPTCHA: Wild CAPTCHA, Wild Distribution, Wild Web-based Platform Meet Multimodal LLM Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1431/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e174/) #### Idea MirrorCAPTCHA 将 CAPTCHA 处理作为 web agent 的独立交互能力评测，同时考虑类型覆盖和遇到不同类型的概率。它用网页图随机游走估计权重，以 Weighted Pass Rate 衡量完整解决能力，并用 Completion Degree 描述部分完成程度。 #### Research Problem 通用 web-agent benchmark 往往跳过验证码，既有 CAPTCHA 测试又常局限于少量合成样式或单一图片识别，不覆盖 OCR、拖拽、旋转等真实交互。对所有类别简单平均，也可能与 agent 实际浏览时面对的类型分布不同。 #### Insight 验证码类型的出现概率与承载它的网站有关，评测应把类型多样性和分布权重分开处理：每类保留足够题量以获得稳定统计，再按估计访问概率加权。严格通过率之外，任务专属的部分分数还能区分识别、定位与操作接近成功的程度。 #### Method 1. 从 Common Crawl 图选高连接度候选，检查可访问性后保留 10,000 个网站，限制 agent 在站内登录/注册等流程探索，识别 2,095 个部署 CAPTCHA 的站点。收集截图并人工标注，多数题来自真实网站。 2. 在相关网页子图上执行随机游走估计站点访问分布；以 CLIP embeddings 和 K-means 聚类，经人工修订、细分得到 18 类，将站点概率汇总为类型权重。 3. 构建 1,000 题，每类保留 50 或 100 个样本以避免尾部过稀；WPR 按类别正确率乘访问权重求和。12 类另计算 CD，分别用 F1、Levenshtein distance、顺序匹配或角度距离衡量部分表现。 4. 提供浏览器与 computer-use 评测平台，并以规则模板结合字符、视觉、prompt pools 生成约 370k 训练样本，加入少量 computer-use trajectories，对 Ovis2-8B 做 SFT，检验专门训练能否提高多类型交互能力。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1431.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1431.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1431.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1431.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1431.pdf#page=6) 核读章节：Desktop Web Curation · CAPTCHA-Confronted Web Curation · Web and CAPTCHA Access Probabilities · Evaluation Metrics · Ovis2-Agent-CAPTCHA-8B · Experimental Setup 核读语料、随机游走权重、指标及训练设计。所谓 encounter frequency 是网页图上的模拟估计，并非直接观测的真实用户或 agent 流量；CD 仅适用于部分类型。 ### Mobile-R1: Towards Interactive Capability for VLM-Based Mobile Agent via Systematic Training ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1422/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e173/) #### Idea Mobile-R1 以三阶段 curriculum 将 VLM 从格式正确的单步执行推进到在线多轮任务优化：SFT 学响应结构，action-level GRPO 学可验证动作，task-level GRPO 再奖励整条轨迹的连贯性和完成度。另提供中文移动任务的人工推理与动作标注。 #### Research Problem 仅优化下一步匹配可能形成局部贪心，不能学习探索或从误点中恢复；但能力不足时直接使用稀疏 task reward 又难收敛。中文商业 app 的复杂界面和推理数据不足，也限制已有训练配方的迁移。 #### Insight 逐级训练让模型先获得可靠原子执行能力，再在最终目标下容许并学习纠错。作者跳过 action 阶段的对照出现训练停滞，支持其引导作用；task-level 信号来自 GPT-4o rubric，因此应区别于第二阶段可直接核验的 bbox/字符串奖励。 #### Method 1. 为 28 个中文 app 人工与模型生成 1,510 个合法任务，用 Qwen2.5-VL-3B 多次执行收集 4,635 条轨迹、24,521 步；人工修订 logical thinking、明确动作描述与精确 tool-call 三层标注。 2. Stage 1 以 action-level 指令和历史作 SFT，输出 think、action、tool_call 结构，建立截图、用户意图与八种操作之间的映射。 3. Stage 2 进行 on-policy GRPO，奖励格式完整与动作正确：坐标操作要求落入 gold bbox，非坐标命令或文本需与参考匹配；该阶段提供进入长程 RL 前的密集监督。 4. Stage 3 在模拟器中 rollout 多步任务，保留全部文本动作历史、仅对历史截图设置滑动窗口；GPT-4o 按 trajectory coherence 和 task completion 五级评分转为 0–1，再加全轨迹平均格式奖励，进行 task-level GRPO。 5. 第三阶段使用五个常见 app 的 100 条任务，评测保留 500 条人工轨迹及长尾 app 子集。分别报告逐步 Accuracy、整条全对的 Task Success、允许中间错误但最终完成的 Tail Success 和参数错误数，并消融训练阶段。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1422.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1422.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1422.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1422.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1422.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1422.pdf#page=7) 核读章节：Trajectory Dataset · Our Mobile-R1 · Stage1: Format Finetuning · Stage2: On-Policy Exploration with Verifiable Feedback · Stage3: Task-level Online Training · Implementation Details 已核读数据、三阶段奖励与指标定义；Task Success 与 Tail Success 按论文定义区分，不将全部成功指标混用。仅截图历史被窗口截断，文本历史保留。 ### MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.278/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a9/) #### Idea MobileWorld把mobile agent评测扩展到长程跨应用、主动询问用户和GUI/MCP混合操作，并通过可自托管的开源应用获得后端可观测性。它以201项任务、20个应用构造更复杂的工作流，保持可重置初始状态和明确的程序化成功检查。 #### Research Problem 已有mobile benchmarks多为短程单应用、完整指令和纯GUI任务，难以分辨真实助手需要的跨应用协调、缺失信息澄清和外部工具使用能力。商业应用虽真实但不容易控制初始状态或访问后端，使仅看截图的成功判定和重复实验受到限制。 #### Insight 选择与常见生产应用功能对应的开源替代品并自行部署，可以保留复杂业务行为，同时获得数据库、local storage及callback层面的验证能力。故意从任务中移除环境里也不存在的关键信息，则让ask_user成为必要的信息动作；MCP也必须与后续GUI操作衔接才能完成目标。 #### Method 1. 在Docker-in-Docker环境中封装rooted Android Virtual Device、self-hosted应用后端和控制API，以预定AVD snapshot初始化任务；应用涵盖Mattermost、Mastodon、Mall4Uni等，并预装联系人、邮件及其他任务材料。 2. 将任务分为GUI-only、agent-user interaction和MCP-augmented；统一动作空间除点击、输入、导航等操作外，加入ask_user、mcp_call、answer及完成状态，并配置5个MCP servers、64个工具。 3. 人工先写明确可完成目标，再删除地址等关键内容，并检查设备中没有遗漏信息的替代来源；LLM user只持有完整目标和被删信息，在agent主动询问时按限定范围回答。 4. 按任务类型用精确字符串或regex、后端数据库查询、ADB local storage inspection及应用callback核验最终状态；分析201项任务中的跨应用比例、操作长度及各模式完成率，检验现有agents在更长工作流上的表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.278.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.278.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.278.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.278.pdf#page=5) 核读章节：3.1 Task Definition · 3.2 Environment Development · 3.3 Task Construction 核读环境隔离、四类确定性验证及user任务构建。用户交互由模拟agent实现，并非真实用户实验；预装内容部分合成或取自互联网。自托管GUI部分可控不代表外部MCP服务永远无变化，结果应按论文实际环境理解。 ### MPR-GUI: Benchmarking and Enhancing Multilingual Perception and Reasoning in GUI Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1375/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e168/) #### Idea MPR-GUI 一方面建立严格跨语言对齐的 GUI perception/reasoning benchmark，另一方面提出 GUI-XLI：从英文成功、目标语言失败的平行样例提取 hidden-state discrepancy，在推理时检索并注入残差流，改善非英语 GUI 理解。 #### Research Problem 交互式 benchmark 的最终成功率难定位感知与推理瓶颈，静态 benchmark 又缺少细粒度诊断；不同语言环境若同时改变布局和轨迹，就无法隔离语言因素。仅观察英语强、其他语言弱，并不能说明怎样把已有英文能力迁移到目标语言。 #### Insight 内容和场景一致的平行 GUI 可以减少语言以外的混杂；成功英文与失败目标语言的表示差，可能包含可用于纠偏的能力方向。以当前问题语义检索相近差向量，比对所有输入施加固定全局偏移更有针对性，同时保持原模型权重不变。 #### Method 1. 收集六语言、39 场景、六设备的平行截图，设计 widget function/interaction、action understanding/prediction、absolute/relative location，以及 rich/sparse information 八个维度。GPT-4o 生成英文 VQA，经人工验证与改写后做多语言、跨模态一致性检查。 2. 以四选一 exact match 统计各维度准确率并计算 FPR-ACC，最终含 12,936 个样本。此设计诊断语言与能力差异，RI/SI 用截图序列模拟端到端 reasoning。 3. 在英文答对、目标语言答错的样例中，输入问题、reasoning chain 与答案，提取选定中间层最后 token 的 hidden states 差；以目标语言 question–image 表示为 key、差向量为 value 构建 GUI-XL-Memory。 4. 推理时用 cosine similarity 检索 top-k 相近记忆，平均差向量并按强度加到 residual stream，再做保范数 normalization。各模型、语言在小验证集上选择层与强度，基础维度记忆可组合用于复杂 reasoning。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1375.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1375.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1375.pdf#page=4) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1375.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1375.pdf#page=7) 核读章节：Data Source · Task Definitions · Benchmark Construction Pipeline · Evaluation Metrics · GUI-XL-Intervention · Cross-lingual Discrepancy Vector Construction · GUI-XL-Memory · Cross-lingual Representation Intervention 核读数据与表示干预方法。benchmark 是静态多选诊断，RI/SI 与综合分数相关不等于已直接证明真实在线任务提升；training-free 指无参数更新，仍需要有答案的平行样例建记忆及验证调参。 ### NaturalGAIA: A Verifiable Benchmark and Hierarchical Framework for Long-Horizon GUI Tasks ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2207/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e249/) #### Idea NaturalGAIA 将可验证的知识关系路径与自然语言叙述分开，构造含隐含指代、乱序意图和跨 app 依赖的长程 GUI 任务；LightManus-Jarvis 则把全局任务调度和局部界面执行分给不同模块，并随执行反馈更新下一步参数。 #### Research Problem 纯自然任务的评测常依赖主观判定，简化任务又不能呈现真实请求中的上下文和多步依赖。单体 GUI Agent 在长历史中容易丢失中间实体，纯视觉坐标预测还可能使正确计划在实际点击时失败。 #### Insight 先固定实体关系链及终态，再改变指令表述，可以控制逻辑正确性与语言复杂度。执行系统相应分开维护全局依赖和当前界面 grounding：前一子任务结果进入 memory，后一任务据此改写；XML 的 UID 则给动作提供可解析目标，而不是要求模型重新猜坐标。 #### Method 1. 从 Wikidata 等知识图谱提取实体—关系 traversal，把每次检索下一实体定义为 atomic task 和其 gold output；依据目标实体属性映射候选 app，形成跨应用执行路径。 2. 给路径加自然叙述，打乱 atomic intent 次序、加入无关信息，并将显式常量替换为上下文指代；按路径长度和应用数构建三个难度层，共 276 个任务。 3. 独立 verifier 同时检查最终答案与目标 app 的终屏/XML 状态，避免仅凭内部知识答题。WPSR 按路径与应用复杂度加权，MATCR 衡量连续完成前缀，p-ATSR 更重后段成功，再区分知识、感知、操作错误。 4. LightManus 根据 capability library 将意图解析为带描述、依赖 slot、执行者、环境和生命周期的任务拓扑；执行反馈进入全局 memory，Context Evolution 改写下一步描述，实现隐式参数传递和动态调度。 5. Jarvis 同时读取压缩截图与经 viewport/可交互性筛选的 Accessibility tree，将元素表示为 UID、Class、Text、Bounds。模型结合历史生成推理和动作，UID 映射 ADB 点击，输入按字符使用键盘或广播，另支持手势和系统导航。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2207.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2207.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2207.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2207.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2207.pdf#page=6) 核读章节：NaturalGAIA · Methodology for Building Naturalized Causal Pathways · Multi-level Evaluation Framework · The LightManus-Jarvis Collaborative Framework · Jarvis: High-Efficiency Android GUI Execution Agent 已核读路径构造、答案与状态双验证、加权指标及层次执行。论文 Causal Path 指知识关系依赖链，笔记不将其解释为统计因果识别；UID 降低坐标预测问题，不保证任意 UI 操作无错。 ### NaviMaster: Learning a Unified Policy for GUI and Embodied Navigation Tasks ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1788/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e213/) #### Idea NaviMaster以显式visual target统一GUI与embodied navigation，把物理移动从无目标的MOVEFORWARD改写为屏幕坐标MOVETO，使二维点击和三维导航都成为看图定位后行动。随后以统一GRPO和distance-aware dense reward联合训练一个policy。 #### Research Problem GUI与embodied agents通常分别训练：前者输出精确像素位置，后者输出自中心移动指令，动作表示不同妨碍跨域迁移。二值grounding reward又让大量略偏离目标的rollouts同为零分，无法利用“更接近正确”的信息；仅保存历史动作也缺少动作目的的语义线索。 #### Insight 二维和三维任务虽有不同执行器，但均可通过当前视觉中的目标位置组织决策。把下一物理waypoint投影到图像后，两类数据可共享目标定位学习；三维depth差异再作为奖励门槛，防止把像素相近但空间上隔离的位置当作等价目标。 #### Method 1. 将动作归为specific、view-shifting及localization三类，保留BACK、STOP等语义动作，统一转向/滚动方向形式，并把embodied移动改成MOVETO(x,y)。 2. 复用GUI-Odyssey轨迹，在Matterport3D/Habitat中用A*取得路径点，变换到当前相机坐标并投影；若下一点不可见则插入转向动作。GPT-4o根据instruction、观察及动作生成第一人称reasoning，GUI数据可额外使用下一截图作标注参考。 3. 以每个step的指令、当前图像和历史thought/action作为输入，直接用GRPO训练，无额外SFT阶段；同组采样responses后计算标准化advantage，联合优化两种导航域。 4. reward包含格式、action type及grounding三项；grounding在像素距离与depth disparity均低于阈值时按距离连续给分，GUI的depth设零。用10000 GUI和10000 embodied样本训练统一7B模型，再测试多平台GUI与embodied任务。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.1788.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1788.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1788.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1788.pdf#page=6) 核读章节：3.1 Visual-Target Trajectory Collection · 3.2 Unified Reinforcement Learning Framework · 3.3 Distance-Aware Reward · 4.1 Implementation Details · 4.2 Benchmarks and Metrics 已核读坐标转换、thought标注和reward公式。训练仍使用ground-truth动作、轨迹及深度先验，R1-Zero式不等于无监督；逐步GUI SR不等于整段任务成功率。统一visual target是动作表示层的共同形式，未把二维与三维环境动力学视为相同。 ### Nested Browser-Use Learning for Agentic Information Seeking ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1049/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a47/) #### Idea NestBrowse 用嵌套控制结构把信息检索 agent 的全局推理与页面内 evidence extraction 分开：外层决定 search、visit、click、fill，进入新页后内层逐段读取并汇总目标相关信息，只把紧凑 workspace 传回外层。 #### Research Problem 仅用搜索 snippets 和 URL fetch 的 agent 无法稳定访问动态加载、表单和多步导航后的内容。直接加入大量浏览器操作与完整 DOM，又放大动作选择和上下文负担；长页截断可能丢掉关键证据，而反复滚动会让全局任务推理被页面细节挤占。 #### Insight 信息获取需要真正改变浏览状态，但并非每段页面内容都值得进入长期推理上下文。用少量交互工具保持访问能力，再把页面遍历封装在一次带 goal 的调用内部，能够分别训练操作决策和证据压缩，减少两者相互干扰。 #### Method 1. 以 Playwright headless browser 将 HTML 转成保留交互元素 ID 的 semantic DOM snapshot；提供 batched search、goal-conditioned visit、click，以及 fill 四工具，模型处理文本页面而不接收视觉输入。 2. 外层采用 ReAct，选择工具及参数并维护任务历史。visit 或 click 引出页面后触发内层，把全文分段、逐段按 goal 抽取信息并累积到 temporary workspace；所有段处理完后返回 workspace，避免把整页直接加入外层。 3. 从 SailorFog-QA-V2 的复杂浏览任务生成示范，rejection sampling 排除格式违规、无效工具/参数和最终答案错误；不额外限制中间 reasoning，以保留不同浏览策略。 4. 同一模型用 weighted multi-task imitation loss 学习外层 reasoning/tool-use 与内层逐段证据提取，默认两项等权；在中英文 deep information-seeking benchmarks 比较答案表现，并分析浏览策略与上下文效率。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1049.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1049.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1049.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1049.pdf#page=5) 核读章节：Minimally Complete Browser Toolkit · Nested Browser-Use Framework · Multi-Task Imitation Learning · Setup 核读工具、嵌套 workspace 和训练目标。所谓 complete toolkit 是论文针对文本网页信息获取的抽象，不意味着覆盖视觉操作或所有浏览器功能；内层会遍历分段全文。 ### PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1669/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e199/) #### Idea PersonalAlign 将个性化 GUI 分为两层 implicit intent：从含糊指令补齐稳定偏好，以及仅凭当前时间/场景提出惯例建议。AndroidIntent 提供长时用户记录与这两类标注，HIM-Agent 用持续更新的分层 memory 将原始记录压缩成偏好与 routine prototypes。 #### Research Problem 常规 GUI 测试给完整指令，短期动作个性化或 proactive suggestion 研究又彼此分离。长历史既含一次性意图也含稳定模式，直接检索所有记录易受噪声和长尾影响，无法确定哪些经验可补齐当前请求，哪些足以支持主动建议。 #### Insight 语义重复不足以代表稳定偏好，还应检查实际动作是否一致；稳定偏好又不自动构成 routine，还需频次和用户状态规律。故作者将 semantic/action aggregation 与 state-based filtering 分层处理，提取记忆后为原执行 Agent 提供上下文，无需替换其基础执行策略。 #### Method 1. 从 Fingertip20K 的 91 名用户两个月记录中，按时间以前 80% 为历史、后 20% 为待标注执行记录；每条包含指令、时间、场景、动作和截图，保证个性化依据来自此前行为。 2. 对候选检索 top-k 相似历史，结合语义相似及时间/场景分布筛选重复模式；人工对照历史复核 intent 类别，并从 GPT 生成的省略偏好指令中选择合理版本，最终形成 775 个 preference 与 215 个 routine 样本。 3. HIM-Agent 按天 streaming aggregation，将一致记录加入 Record Prototype。Execution-based Preference Filter 结合 embedding cosine、词项 Jaccard 与 action trajectory 的 DTW 对齐，选择与簇内记录平均距离最小的 intent/action 作为中心。 4. State-based Routine Filter 进一步考虑 prototype 的状态稳定度、记录频次和执行一致性，超过 proactive confidence 边界后纳入 Routine Memory；偏好查询返回中心 intent/action，主动建议返回中心意图及最常出现的时间/场景。 5. 比较完整与含糊指令下的 GUI Agent，离线用用户动作作 gold 计算 Type、SSR，并用更重早期错误的 CSR 近似关键偏好步骤失误；分别检验执行个性化与状态触发建议。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1669.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1669.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1669.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1669.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1669.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1669.pdf#page=7) 核读章节：PersonalAlign Task Definition · AndroidIntent · Hierarchical Filtering Strategy · Human Verifying Strategy · HIM-Agent · Streaming Aggregation Module · Execution-based Preference Filter · State-based Routine Filter 已核读时间划分、人工标注、原型更新和两级过滤。正文部分公式直接相加 entropy/distance 而文字强调稳定/相似，笔记保留信号设计、不臆造归一化或方向修正；执行指标为离线协议。 ### SynthAgent: Adapting Web Agents with Synthetic Supervision ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.716/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e86/) #### Idea SynthAgent围绕新网站自动生成任务和执行轨迹，并将任务修订与轨迹清理分成两个环节：执行中只在发现冲突时改正任务，结束后再按最终目标清理历史噪声。配合按功能类别探索网页，它提供无需人工标注的website-specific监督数据来适配开源web agent。 #### Research Problem 随机GUI探索会反复访问密集区域，单次状态变化反推的任务又可能虚构不存在的选项。持续在每一步改写目标虽可避免卡住，却容易改变意图、拉长轨迹；即使最终完成，早期围绕旧任务的动作与无效浏览仍会成为错误的imitation targets。 #### Insight 探索覆盖、任务可行性和轨迹学习价值是不同问题。功能分组可改善覆盖，观察触发的局部修订可对齐真实网站，而全程结束后的global context能识别对最终任务无用的前缀和重复步骤，因此两次refinement分别解决目标错误和示范噪声。 #### Method 1. 按页面结构将按钮、输入、link等分为语义功能类别，每类均匀采样最多两个未访问元素，记录前状态—action—后状态triplet并维护URL pool；根据真实变化提出更高层、多步可完成的任务。 2. 执行中检测目标元素不存在、关键参数缺失或stall；stall包括连续no-op和重复导航/错误循环。触发后由LLM补细节、对齐实际观察或缩小目标，同时尽量保留原任务类别。 3. 完成后将最终task与整个trajectory交给LLM，离线执行Remove、少量保守Reorder、Drop或Keep，去除失效任务前缀和冗余操作；这一阶段不再次与环境交互。 4. 把精炼后的task-trajectory拆成逐步next-action监督样本，使用过去观察与动作作为context，对开源agent做SFT；历史窗口设为三步以控制训练成本和推理延迟。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.716.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.716.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.716.pdf#page=5) 核读章节：3 Method · 3.1 Task Synthesis · 3.2 Task Refinement · 3.3 Trajectory Refinement · 3.4 Agent Fine-tuning 核读类别探索、冲突predicate和两阶段修订。任务可在阻塞时downscope，因此成功收集不等于原始目标成功；离线Reorder未通过真实环境重放，作者用保守编辑减少破坏依赖的风险，笔记未声称形式保持状态等价。 ### WebClipper: Efficient Evolution of Web Agents with Graph-based Trajectory Pruning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.988/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a46/) #### Idea WebClipper 把 web research 轨迹转换为 action–information dependency graph，寻找支撑最终答案的近似最小 DAG，再据此删去循环验证和无贡献分支。经过衔接性重写的精简轨迹用于继续训练，使 agent 学会更少但仍有用的工具调用。 #### Research Problem 长上下文和大 tool-call budget 虽可提高搜索覆盖，也带来重复核查、循环 reasoning 和探索死路。仅提示模型节约或粗略按步删除，可能移除答案依赖的证据，或留下引用已删除观察的断裂推理，因此效率优化需要识别信息依赖。 #### Insight 一个动作的价值取决于它产生的信息是否被答案直接或间接使用，而非其在原时间序列中的位置。以信息节点合并重复事实，再保留必要前驱，可以比简单截短更有选择地压缩；同时加入确实需要长链的任务，避免把短轨迹当成普适最优。 #### Method 1. 从公开 QA 任务采样多条现有 agent 轨迹，保留 pass rate 在 0 到 0.5 之间的有挑战任务。LLM extractor 将每步概括为 action node，把观察拆成 atomic information 并语义去重，连接动作输入依赖和输出事实。 2. 令动作成本为 1、信息成本为 0，从 query 到 answer 做 Dijkstra-style 前向搜索，再反向闭包补入必要分支，构成近似 MNDAG。重复图提取与裁剪三次，仅在至少两次必要动作集合完全一致时接受。 3. 映射回原轨迹后，仅重写因删除步骤而新相邻的 reasoning，消除对已移除 observations 的引用；生成三个候选，按 base model perplexity 选择较符合其风格的版本。 4. 对精简轨迹做 efficiency-oriented SFT，或与不同问题、同难度但无法裁剪的完整轨迹混合训练。评测答案正确率、tool rounds、tokens，并用 F-AE 综合 accuracy 与相对调用预算的效率。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.988.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.988.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.988.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.988.pdf#page=5) 核读章节：Initial Trajectory Collection and Filtering · From Trajectory to State Graph · Pruning via MNDAG · Coherence-aware Thought Rewriting · Agent Evolution via Efficient and Hybrid Training · Experimental Settings 核读依赖提取、近似图算法、重写和训练。minimum-necessary 为 LLM 提取依赖上的近似结果，不是对所有可行搜索策略的全局最优证明；F-AE 依赖设定的最大轮数。 ### WebSTAR: Scalable Data Synthesis for Computer Use Agents with Step-Level Filtering ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.21/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e4/) #### Idea WebSTAR 将强 CUA 的嘈杂 rollout 转成可用于 SFT 的逐步监督：先筛成功轨迹，再给每一步评分，只对高质量动作计算 loss，同时保留错误历史作为上下文。配套 WebSCORE 与 StepRM 将昂贵 grader 的判断蒸馏到较小多模态模型。 #### Research Problem 整条任务最终成功不代表中间动作合理；成功轨迹仍可能含误点、绕路或无效等待，直接 imitation 会学习这些错误。另一方面完全删除错误历史会改变真实恢复场景，因此需要把“作为条件的历史”与“作为监督的目标”分开。 #### Insight SFT 本质上逐步预测下一 thought/action，数据过滤也应匹配这个粒度。保留先前失败而只监督其后的有效行为，可以学习恢复而不强化错误。作者的 thought augmentation 主要提高 Pass@4，表中部分 Pass@1 下降，因此不能概括为单次成功率始终改善。 #### Method 1. 对清理后的 OpenWebVoyager training queries 用 computer-use-preview 每题采样 16 条、最多 100 步轨迹；GPT-4o 按完整截图和动作判断任务成功，保留 13,338 条轨迹。 2. o4-mini 根据任务、历史截图/动作及当前目标 crop 分析状态和候选动作，再提出三个替代动作、比较预期效果，输出 0–10 分；替代效果是 grader 推演，并未实际执行分支。 3. 为原始 observation/action 补充 situation description、reasoning、actionable instruction 三部分 thought；训练保留历史全部文本和有限窗口截图，仅在 score>5 的步骤计算 thought/action 的 NLL。 4. 用 WebSCORE 的 200k 评分步骤训练 Qwen2.5-VL-7B StepRM，正负阈值两侧各占一半；在独立步骤池上比较两种 grader 筛出的数据对下游 SFT 的影响。 5. 以 7B/32B 学生在 WebVoyager、Mind2Web-Live、Online-Mind2Web 比较轨迹级与步骤级过滤、thought augmentation 和阈值，报告 Pass@1/Pass@4；无法访问或失效网站按实验时状态排除。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.21.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.21.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.21.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.21.pdf#page=5) · [PDF p. 8](https://aclanthology.org/2026.acl-long.21.pdf#page=8) · [PDF p. 13](https://aclanthology.org/2026.acl-long.21.pdf#page=13) · [PDF p. 14](https://aclanthology.org/2026.acl-long.21.pdf#page=14) 核读章节：Teacher CUA Rollout · Step-Level Filtering · Thought Augmentation · StepRM · Evaluation Details 已核读 mask 机制、grader、StepRM 与测试限制。StepRM 用于离线筛选已被实验，作为 RL critic 仅为未来方向；Pass@4 提升不等同于单次执行稳定性已得到证明。 ### WebSynthesis: World Model-Guided Monte Carlo Tree Search for Efficient WebAgent Trajectory Synthesis ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1157/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e137/) #### Idea WebSynthesis训练预测accessibility tree变化的LLM World Model，再在其中用MCTS生成多分支web trajectories。模拟环境允许从检查点自由回退，因此不仅可提取成功路线，还可合成失败后go_back并转入正确分支的恢复样本，最后用课程式SFT训练web agent。 #### Research Problem 真实网页交互采集受网络、服务限制和不可逆状态修改影响，难以大规模回溯探索；现有合成方法常只提供单一路线或抽象效果描述，缺乏可连续搜索的结构化下一状态。只学习成功轨迹还使agent在部署偏离后缺少恢复策略。 #### Insight 若world model输出完整A11y状态，搜索算法就可以把它当作可分支的transition backend，反复比较多种动作并保留失败邻居。训练价值不仅来自最佳路径，也来自同一父状态下失败与成功分支的关系；不过模拟器的系统性错误仍可能污染这些关系。 #### Method 1. 先用探索agent在目标网站记录观察、动作、下一观察triplets，训练LWM预测click、type、hover、scroll等操作后的A11y结构与内容，作为后续policy交互的模拟环境。 2. WebMCTS按UCB选择节点，每次扩展至少三个不同候选动作，由world model生成下一状态并由reward model估值；用URL到状态的cache复用预测，再按访问次数加权向祖先回传value。 3. 剪除冗余或无意义分支，用DFS找超过value threshold的节点并提取root-to-node轨迹；对成功路径的失败兄弟分支构造失败状态→父状态→正确分支的rollback样本，教授go_back与恢复。 4. 先训练dense captioning、element functionality及state transition等UI理解任务，再做behavior cloning；以约7900条搜索轨迹训练7B/14B模型，在选定WebArena、WebVoyager子集及完整Mind2Web-Online上测试。 #### Sources & Reading Scope [PDF p. 2](https://aclanthology.org/2026.acl-long.1157.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1157.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1157.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1157.pdf#page=5) 核读章节：3.1 Problem Formulations · 3.2 LLM-based World Model · 3.3 World Model-guided MCTS · 3.4 Node Selection with Noisy Predictions · 3.5 Curriculum Learning · 4.1 Experiment Setup 已读结构化模拟、搜索与训练正文。节点选择理论依赖独立零均值Gaussian预测误差等假设，不能推广为任意world-model偏差下的质量保证；URL缓存也不是一般网页状态的完整标识。评测网站子集及text-based observation范围按正文记录。 ### Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1483/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e182/) #### Idea 论文用 hierarchical planning 把 web agent 失败拆成 high-level planning、low-level execution 和 replanning 三层，并以人工对齐的 subgoals 作为诊断参照。研究重点是区分策略本身不合理与策略正确但无法落地，进而比较 natural language 与 PDDL 表示的作用。 #### Research Problem 只看最终任务成功率会混合指令理解、目标分解、UI grounding 和恢复失败，无法判断改进高层推理是否真正触及瓶颈。不同 agent 框架的内部组件也不一致，缺少能在统一环境中分别测量这些基本能力的分析方式。 #### Insight 固定正确的高层计划后，执行失败可以更直接归因于感知和控制；再加入一次基于实际探索反馈的重规划，则能测量恢复能力。显式 preconditions/effects 的 PDDL 可能使目标更精炼，但计划形式更好并不自动保证执行更可靠。 #### Method 1. 扩展 Mind2Web-Live 的 104 个 live-web tasks，将 expert key-node annotations 转为高层步骤，并人工核对语义、顺序、遗漏和粒度，形成 oracle plans。 2. 分别让模型产生 NL 或 PDDL 高层计划，用 LLM judge 对照人工步骤统计 perfect/partial/missing/decomposed/unmatched/matched 等对齐情况，并比较对应计划的可执行性。 3. 低层 executor 把每个 subgoal 转成 UI actions，postcondition checker 根据页面与历史判断完成；记录 subgoal completion、整计划完成、动作数和原始任务成功率。另使用 oracle plans 隔离执行能力，比较完整 action specification 与枚举 action ID。 4. 执行失败后让 replanner 判断原计划是否可挽救，选择从当前状态局部调整或整体重建；分析仅限一轮 replanning。以三种模型测试共享趋势，并通过部分人工复核检验 LLM judgments。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1483.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1483.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1483.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1483.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1483.pdf#page=5) 核读章节：High-level Planning · Low-level Execution · Postcondition Checking · Replanning · Hierarchical Evaluation of LLMs for Web Agent Applications · Dataset Construction · High-level Representations 核读分层流程、指标和 oracle 计划构建。主要完成判断依赖 LLM-as-judge，PDDL 是提示生成的结构化计划；结论是该实验设置中的瓶颈诊断，并非所有 web agents 的普遍因果证明。 ## 04 · 代码 / 软件 / 科研执行 30 篇 · CVPR 7 · ACL 23 ### CodeDance: A Dynamic Tool-integrated MLLM for Executable Visual Reasoning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Song_CodeDance_A_Dynamic_Tool-integrated_MLLM_for_Executable_Visual_Reasoning_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c21/) #### Idea CodeDance 让 MLLM 用可执行 Python 组织 visual reasoning，把 image crop、计算、绘图与标注统一为 code action。模型在 think–execute–feedback loop 中读取执行产生的文字和图像，再决定下一步操作或输出答案，从而组合出超出固定 tool schema 的视觉处理流程。 #### Research Problem 固定工具集容易限制操作组合，而仅把 code interpreter 接到模型上也不能保证有效使用：模型可能反复调用工具、产生不可执行代码，或在真正需要外部操作时直接猜答案。trajectory-level reward 还难以区分是哪一次调用有用，导致 tool use 的局部 credit assignment 不充分。 #### Insight 论文认为工具使用强度应随任务难度变化：简单问题应减少冗余调用，困难问题应允许探索；同时 execution failure 应立即影响对应 turn 的学习信号。统一 code interface 提供可组合的 action space，而分层 reward 决定模型能否学会有目的地使用这个空间。 #### Method 1. 每个 interaction turn 生成 reasoning 和 Python code，在 sandbox 中执行；crop、plot、annotation 等可视化结果与文本输出回传模型，形成下一 turn 的 observation。达到 final answer 或 turn limit 时结束。 2. 先用经过难度分层与强模型校验的 atomic trajectories 做 SFT，覆盖 crop / resize、数学与统计操作、绘图和标注等基本能力，让模型掌握 interpreter interface。 3. 随后用 GRPO 优化 composite reward：answer correctness、format 与 BAT reward。BAT 的 sequence-level 项利用同组样本的成功率估计难度，调节有效 tool calls 的激励。 4. BAT 的 turn-level 项惩罚 execution failure，并以 discounted return 传播后续反馈；将 turn 与 sequence advantages 合并，训练可组合的 multi-turn visual reasoning policy。 #### Sources & Reading Scope [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Song_CodeDance_A_Dynamic_Tool-integrated_MLLM_for_Executable_Visual_Reasoning_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Song_CodeDance_A_Dynamic_Tool-integrated_MLLM_for_Executable_Visual_Reasoning_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Song_CodeDance_A_Dynamic_Tool-integrated_MLLM_for_Executable_Visual_Reasoning_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Song_CodeDance_A_Dynamic_Tool-integrated_MLLM_for_Executable_Visual_Reasoning_CVPR_2026_paper.pdf#page=6) 核读章节：Methodology · Two-stage Training · Difficulty-aware and Turn-level Rewards 依据正文的 execution loop、SFT 与 RL 设计整理；未将作者观察到的组合能力解释为任意工具上的普遍泛化保证。 ### CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Hou_CodeV_Code_with_Images_for_Faithful_Visual_Reasoning_via_Tool-Aware_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c22/) #### Idea CodeV 将 visual tool use 表示为 Python code，并用 Tool-Aware Policy Optimization（TAPO）同时优化 final-answer correctness 与中间工具结果的 evidence relevance。模型不仅要得到正确答案，还要通过 crop 等操作真正找到与问题有关的视觉区域。 #### Research Problem 只用最终答案做 reward，会掩盖 unfaithful tool use：模型可能 crop 错误区域、忽略工具输出，却依靠文本线索猜对答案。单纯给 tool invocation bonus 也容易鼓励形式上的调用，因此需要能够检查中间工具行为、又不依赖完整 bounding-box annotation 的 supervision。 #### Insight 论文选择验证外部可观察的 tool output，而不是评价模型自己写出的 reasoning。这使 reward 更接近实际证据，也减少 judge 被自洽叙述误导的机会。这里的 faithfulness 主要由 crop 是否包含目标来近似；它证明 evidence relevance，尚不能单凭这一指标证明最终答案在因果上依赖了该 crop。 #### Method 1. 先以 visual operation 与 multi-round refinement trajectories 做 SFT，建立 code-with-images 的 cold start；否则直接 RL 容易因早期 code rollout 成功率低而退化为纯文本回答。 2. Policy 交替输出 think、code、answer；完整 code block 在 restricted Python sandbox 中执行，日志与派生图像追加到 context，再生成后续 action。 3. TAPO 的 tool judge 只接收 question、tool output 和相关 metadata，不读取生成的 thought 或 code；判断结果是否提供相关证据，并抑制无信息的大 crop 等无效操作。 4. 将逐次 tool reward 聚合后与 answer reward 加权，用 group-sampled trajectories 构造 baseline，并执行带 clipping 与 KL regularization 的 GRPO-style 更新。评测同时报告 answer accuracy 与正确答案条件下的 faithful tool-use rate。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Hou_CodeV_Code_with_Images_for_Faithful_Visual_Reasoning_via_Tool-Aware_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Hou_CodeV_Code_with_Images_for_Faithful_Visual_Reasoning_via_Tool-Aware_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Hou_CodeV_Code_with_Images_for_Faithful_Visual_Reasoning_via_Tool-Aware_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Hou_CodeV_Code_with_Images_for_Faithful_Visual_Reasoning_via_Tool-Aware_CVPR_2026_paper.pdf#page=5) 核读章节：Evidence of Unfaithful Tool Use in VLMs · Methodology · TAPO 依据正文的问题诊断与方法整理；对 faithfulness proxy 与 causal dependence 的区分是本笔记的分析。 ### Cross-Domain Demo-to-Code via Neurosymbolic Counterfactual Reasoning CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Kim_Cross-Domain_Demo-to-Code_via_Neurosymbolic_Counterfactual_Reasoning_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c25/) #### Idea NeSyCR 将 video-to-robot-code 看作 cross-domain procedure adaptation：先从 demonstration 建立 symbolic world model，再针对 deployment environment 做 counterfactual reasoning，修正不再可行的步骤，最后生成可执行 code policy。 #### Research Problem 示范与部署可能在 object affordance、障碍物、robot kinematics 或 gripper 上不同。直接复现视频中的 action sequence 会破坏 preconditions，局部替代动作也可能产生后续冲突；VLM 看出外观差异，并不等于能验证修改后的完整程序仍满足 task goal。 #### Insight 可迁移的对象应是 demonstration 中的 causal dependencies，而不是表面的动作顺序。将 procedure 表示为带 preconditions / effects 的 symbolic operators 后，可以显式定位 domain shift 破坏了哪条依赖，再让 VLM 提议修复、symbolic tool 检查一致性。逻辑可验证性仍以抽象 state 与 operator 的准确性为前提。 #### Method 1. VLM 将 demonstration keyframes 转换为 grounded scene graphs，汇总 objects 与 predicates，并从相邻 symbolic states 推断动作的 preconditions 和 effects。 2. 使用 STRIPS-style world model 与 symbolic tool（例如 VAL）进行 forward simulation；若预测 transition 与示范不一致，要求 VLM 重新生成 operator，直到得到一致的 procedure。 3. 把 deployment observation 映射为 counterfactual state，沿原 procedure 模拟，检查未满足的 preconditions 和预期 effects，定位需要适配的步骤。 4. VLM 通过插入、替换或移除动作探索修复方案，symbolic verification 持续检查 causal consistency；达到目标 symbolic state 后，将 adapted procedure 编译为调用 robot APIs 的 code policy。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Kim_Cross-Domain_Demo-to-Code_via_Neurosymbolic_Counterfactual_Reasoning_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Kim_Cross-Domain_Demo-to-Code_via_Neurosymbolic_Counterfactual_Reasoning_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Kim_Cross-Domain_Demo-to-Code_via_Neurosymbolic_Counterfactual_Reasoning_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Kim_Cross-Domain_Demo-to-Code_via_Neurosymbolic_Counterfactual_Reasoning_CVPR_2026_paper.pdf#page=5) 核读章节：Symbolic world model construction · Neurosymbolic counterfactual adaptation · Algorithm 1 依据正文的 symbolic formulation 与算法整理；symbolic verification 的前提边界为笔记分析，不能等同于对真实物理执行的无条件保证。 ### MoReGen: Multi-Agent Motion-Reasoning Engine for Code-based Text-to-Video Synthesis CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Bai_MoReGen_Multi-Agent_Motion-Reasoning_Engine_for_Code-based_Text-to-Video_Synthesis_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c79/) #### Idea MoReGen 用 multi-agent code generation 将 text-to-video 转换为显式的 physics simulation 与 rendering。Text-parser、code-writer 和 video-render agents 分工生成结构化参数、Newtonian simulation code 与视频，再由 evaluator 反馈修正；同时以 MoReSet 和 trajectory-centric metrics 检查物理一致性。 #### Research Problem 视觉上逼真的视频可能违反 Newtonian motion，常用 appearance metrics 又难以识别 trajectory 或 causal dynamics 的错误。自然语言还经常缺失物理参数，直接交给通用 code generator 容易得到不完整或相互矛盾的 simulation specification。 #### Insight 将运动生成与画面呈现分离，可以把 physical dynamics 交给可执行 simulator，并保留可核查的 object trajectories。模型主要负责把用户意图映射到正确的物理问题，而不用从像素统计中隐式恢复全部规律；这一优势适用于论文定义的 Newtonian scenes，不能直接视作开放世界 photorealistic video 的全面替代。 #### Method 1. 为不同 Newtonian phenomena 设计包含 units、parameter ranges、objects、constraints 与 initial conditions 的 schema，人工校验 text–specification pairs，并对 Qwen2.5-Coder-14B 的 text-parser 做 SFT。 2. Code-writer 按统一 Python framework 创建 bodies、shapes、constraints 与 simulation loop，调用 physics engine 并保存每个 step 的 position、velocity 和 orientation。 3. Video-render agent 依据 scene configuration 与 trajectories 生成 rendering script；实现中可通过 Pymunk 与 pygame 重建场景和回放运动，使 rendering 与 dynamics 解耦。 4. Evaluator 以 GroundedDINO / CoTracker3 提取视频中的对象轨迹，与 simulation telemetry 比较，再综合 VLM 对 physical plausibility 和 prompt fidelity 的判断，把反馈送回 code-writer；MoReSet 用人工校验的 trajectory annotations 支持评测。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_MoReGen_Multi-Agent_Motion-Reasoning_Engine_for_Code-based_Text-to-Video_Synthesis_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_MoReGen_Multi-Agent_Motion-Reasoning_Engine_for_Code-based_Text-to-Video_Synthesis_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_MoReGen_Multi-Agent_Motion-Reasoning_Engine_for_Code-based_Text-to-Video_Synthesis_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Bai_MoReGen_Multi-Agent_Motion-Reasoning_Engine_for_Code-based_Text-to-Video_Synthesis_CVPR_2026_paper.pdf#page=5) 核读章节：Introducing MoReGen · Evaluator Design · MoReSet Benchmark 依据正文的 agent pipeline 与 benchmark 构建整理；应用范围的说明为本笔记分析，未独立验证 simulator 或生成视频。 ### NERFIFY: A Multi-Agent Framework for Turning NeRF Papers into Code CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Jain_NERFIFY_A_Multi-Agent_Framework_for_Turning_NeRF_Papers_into_Code_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c83/) #### Idea NERFIFY 面向 NeRF paper-to-code，利用 domain knowledge、citation recovery、Graph-of-Thought repository synthesis 和 visual feedback，把论文转换为可训练的 Nerfstudio plugin。它把运行成功与渲染质量分开处理，既修复代码依赖，也针对实际 rendering artifacts 改进实现。 #### Research Problem NeRF 的 rendering equations、sampling、encoding、loss 和 training configuration 强耦合，论文还经常省略被引用方法的实现细节。通用 code agent 即使生成语法正确的文件，也可能因 tensor shape、gradient 或接口错误无法训练；能够训练的实现又可能出现 floaters 等仅从图像才能发现的问题。 #### Insight 领域内复现更适合被建模为受 framework contracts 约束的组件装配，而不是一次性生成整个 repository。Citation graph 补全方法来源，repository DAG 明确生成依赖，rendered views 则提供代码测试之外的任务反馈；这些结构共同缩小错误定位与修复的搜索范围。 #### Method 1. 用 MinerU 将论文解析为保留 equations、pseudocode、figures 与 citations 的结构化表示；结合 paper–code examples 和 Nerfstudio 的 context-free grammar 建立 domain knowledge base。 2. 沿 citation graph 递归识别并检索被借用的 sampler、encoder、loss 和 training protocol，直到目标方法的 interface contracts 所需组件得到补全。 3. 构建 repository dependency DAG，按 topological order 冻结接口并由 specialized file agents 实现模块；检查 local contracts、shape / gradient，再用 integration smoke tests 触发 critique–repair loop。 4. 执行短程训练与 multi-view rendering，结合局部 PSNR / SSIM error maps、Cross-View Artifact Consensus 和 VLM diagnosis 生成可回退 patches；达到停止条件后输出 trainable plugin。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Jain_NERFIFY_A_Multi-Agent_Framework_for_Turning_NeRF_Papers_into_Code_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Jain_NERFIFY_A_Multi-Agent_Framework_for_Turning_NeRF_Papers_into_Code_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Jain_NERFIFY_A_Multi-Agent_Framework_for_Turning_NeRF_Papers_into_Code_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Jain_NERFIFY_A_Multi-Agent_Framework_for_Turning_NeRF_Papers_into_Code_CVPR_2026_paper.pdf#page=5) 核读章节：Proposed Multi-Stage Framework · Grammar-Guided Repository Generation · Visual-Driven Feedback 依据正文四阶段流程整理；论文报告的执行与质量结果属于其 NeRF benchmark，笔记未独立复现。 ### GardenDesigner: Encoding Aesthetic Principles into Jiangnan Garden Construction via a Chain of Agents CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Li_GardenDesigner_Encoding_Aesthetic_Principles_into_Jiangnan_Garden_Construction_via_a_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c48/) #### Idea GardenDesigner 把江南园林的审美与文化规则编码到四个顺序协作的 agents：地形、道路、选材、布局。系统将文字要求转成 procedural modeling 参数，再用园林知识检索和几何约束生成场景，配合 GardenVerse 资产库与 Unity 交互工具支持非专业用户创建和编辑园林。 #### Research Problem 通用 landscape generators 更重视几何覆盖或通行效率，容易产生离散水面、过直道路和文化风格不一致的布置。江南园林要求以水组织紧凑空间、沿曲径逐步显露景观，并协调建筑、植物和山石的象征意义。普通 LLM 与通用 3D asset 数据缺少这些领域知识。 #### Insight 审美原则可拆成不同层次的可执行决策：整体地形决定道路，道路和区域语境约束选材，资产知识再决定相对布局。将文化关系显式写入检索描述和空间 constraints，可减少模型凭通用场景先验排列对象的偏差，让语言设计意图落到可搜索的结构参数。 #### Method 1. Terrain Distribution Agent 把用户文字与全局原则映射到地形存在性、数量、覆盖率和单区域面积参数，在 Outside/Waterbody/Land/Ground 的 2D grid 上运行 genetic algorithm，使用 water-centric fitness 引导演化。 2. Road Generation Agent 根据地形和用户需求确定入口、keypoints、道路宽度与复杂度，对 grid boundaries 评分，兼顾可达覆盖、沿边界布局以及避免过直或过度弯折，再生成 smooth splines。 3. Asset Selection Agent 将 GardenVerse 中的 expert-annotated garden knowledge 编码进 vector store，结合区域信息检索建筑、植物和山石，输出各区域资产集合。 4. Layout Optimization Agent 使用 edge/middle、around/backed-up、near/far、aligned、face-to 等八类关系，构造五组位置与方向 losses。先确定 main/anchor objects，再用 depth-first search 寻找其余对象的有效位置和旋转。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_GardenDesigner_Encoding_Aesthetic_Principles_into_Jiangnan_Garden_Construction_via_a_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_GardenDesigner_Encoding_Aesthetic_Principles_into_Jiangnan_Garden_Construction_via_a_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_GardenDesigner_Encoding_Aesthetic_Principles_into_Jiangnan_Garden_Construction_via_a_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_GardenDesigner_Encoding_Aesthetic_Principles_into_Jiangnan_Garden_Construction_via_a_CVPR_2026_paper.pdf#page=5) 核读章节：3.1. Problem Statement · 3.2. Hierarchical Garden Composition · 3.3. Knowledge-Embedded Asset Arrangement · 4. The GardenVerse Dataset 依据正文 agent chain、procedural algorithms 与约束定义整理。审美由作者整理的专家规则、资产知识和后续人评支持，不能把几何 loss 当作完整审美标准。 ### ProSoftArena: Benchmarking Hierarchical Capabilities of Multi-modal Agents in Professional Software Environments CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Ai_ProSoftArena_Benchmarking_Hierarchical_Capabilities_of_Multi-modal_Agents_in_Professional_Software_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c90/) #### Idea ProSoftArena 建立专业软件操作的分层能力体系，并在可复位 Windows 11 VM 中提供 456 个真实任务。它把单个操作、单软件完整工作流、跨软件 pipeline 和开放创作分开评价，同时支持人类接管或 agent 主动求助，以衡量专业环境中的自主与协作能力。 #### Research Problem 浏览器和普通桌面 benchmark 很难覆盖 CAD、GIS、仿真、化学绘图等软件的复杂界面与领域知识。只看点击或短任务成功，无法检验跨应用数据转移和长程专业流程；仅评价完全自主执行，也不能描述用户在实际工作中需要投入多少帮助。 #### Insight 专业能力有可组合层级，L1 操作成功不意味着能够规划 L2 工作流，更不能推出 L3 跨软件协调。应以具体初始工作状态和最终 artifact 验证功能完成，再通过可控的人类介入观察现有 agent 的实用协作方式。 #### Method 1. 定义 L1 Operation、L2 Software、L3 Pipeline、L4 Creative 和 L5 Project 五级体系；当前 benchmark 实际覆盖至 L4，L5 长期项目协同作为未来范围。由 12 位专家覆盖六学科、二十子领域、十三种软件设计任务。 2. 为任务标注 instruction、输入文件、难度、预期输出、评价规则、示范轨迹及人工时间/步数，至少两名领域专家独立核查。高层任务反向补齐所依赖的 L1 操作。 3. 每轮从 VM snapshot 恢复固定软件版本，配置脚本加载文件并调整窗口和面板；agent 通过 screenshot、a11y 或 SoM 观察并操作，直至 DONE / FAIL 或步数上限。 4. Task-specific evaluator 保存并读取最终文件或系统状态，例如检查图像误差、解析设置文件，返回功能成功结果。另提供专家实时接管后归还控制，以及 ASK_ACTION 由 agent 说明所需帮助的两种 human-in-the-loop 模式。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Ai_ProSoftArena_Benchmarking_Hierarchical_Capabilities_of_Multi-modal_Agents_in_Professional_Software_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Ai_ProSoftArena_Benchmarking_Hierarchical_Capabilities_of_Multi-modal_Agents_in_Professional_Software_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Ai_ProSoftArena_Benchmarking_Hierarchical_Capabilities_of_Multi-modal_Agents_in_Professional_Software_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Ai_ProSoftArena_Benchmarking_Hierarchical_Capabilities_of_Multi-modal_Agents_in_Professional_Software_CVPR_2026_paper.pdf#page=5) 核读章节：Hierarchical Capability Levels · Executable Professional Software Environment · Automated Evaluation framework · Human-in-the-loop Evaluation · Task Annotation · Statistics 阅读层级定义、平台、任务构建与执行评价正文。456 项含 L1 252、L2 164、L3 20、L4 20；没有将 L5 描述为已实际评测。 ### ChatHLS: Towards Systematic Design Automation and Optimization for High-Level Synthesis ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.962/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d92/) #### Idea ChatHLS 把从 C/C++ 或自然语言生成 HLS-C、优化 directives 和修复综合错误组织成多 agent 闭环，并训练 HLSTuner 与 HLSFixer 两个专门模型。核心改变是让优化显式关联 directives 与实际 QoR，让修复先解释工具错误再产生精确修改指令，而不只学习代码到代码映射。 #### Research Problem 通用代码 LLM 对可综合语法、PIPELINE/UNROLL/ARRAY_PARTITION 的语义及相互影响缺乏知识；传统 DSE 又受组合空间和分钟至小时级综合开销限制。已有 RAG 可能检索到仅部分匹配的错误，简单微调通常不能同时处理 HLS 兼容性、指令冲突和特定资源约束下的性能优化。 #### Insight HLS 工具的错误日志和 QoR 报告是比语言自评更具体的监督来源。将诊断与代码修改分工，可以让修复围绕可定位的原因展开；将 directives 变化、硬件并行性与延迟/资源变化写成 reasoning，则为优化提供结构化依据。持续收集未覆盖错误又能扩展诊断数据的覆盖范围。 #### Method 1. 生成 agent 结合检索的 HLS 知识得到初始 HLS-C；HLSTuner 接收代码、loop/array metadata 和初始 QoR，输出指令类型、factor、目标位置与插入计划，再由 insertion agent 执行并依据新 QoR 迭代调整并行度。 2. 用 NSGA-II 搜索得到不同 directive 配置及实测 QoR，由教师模型生成优化 CoT，形成 4,804 条优化样本训练 Qwen-2.5-Coder-14B-Instruct，使模型学习资源消耗与性能变化的关联。 3. HLSFixer 解析 simulation/synthesis 日志，分析 agent 输出错误位置、原因和修改动作，修复 agent 执行后对 golden results 复测；失败时启用多个诊断候选与 judge，综合日志一致性和修改范围选择建议。 4. VODA 将新错误整理为 BugRAG error slices，并检索这些错误向正确设计注入可验证 bug；用 10,878 条 buggy code 做 SFT、3,716 个偏好对做 DPO，偏好构造强调利用错误日志。最终以 CSIM、CSYN、COSIM 验证功能和综合可行性，并评估优化 QoR。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.962.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.962.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.962.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.962.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.962.pdf#page=6) 核读章节：3.1 ChatHLS Architecture & Workflow · 3.2 HLSTuner · 3.3 HLSFixer · 3.4 Verification-Oriented Data Augmentation · 4.1 Dataset Construction & LLM Training · 4.2 Benchmarks & Metrics 核读各 agent、训练数据、DPO 构造及 HLS 工具验证流程。正文称 QoR-aware reasoning 捕获 causal relationship，笔记按训练样本中的变化关联描述；通过指定 testbench 的仿真与协同仿真是论文的正确性标准，不扩展成任意输入的形式化等价证明。 ### CodeEvo: Interaction-Driven Synthesis of Code-centric Data through Hybrid and Iterative Feedback ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.438/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d46/) #### Idea CodeEvo 通过 Coder 与 Reviewer 的交互生成代码训练数据：以 Schema 规划题目变化，再同时使用代码执行反馈和语义审查，逐轮保留有效 instruction-code pairs。数据难度演化与可执行验证绑定，而非仅要求语言模型把原题改得更复杂。 #### Research Problem 现有 instruction evolution 常依赖固定改写规则，生成题目可能与代码约束不一致；纯 execution feedback 又受自生成测试覆盖限制，错误实现也可能全部通过。研究目标是在仅有自然语言种子任务与概念关键词、没有 gold code 和人工测试的条件下，持续合成有用且较可靠的代码数据。 #### Insight 编译器能识别具体执行错误，但难以判断题意是否完整实现；Reviewer 能检查约束、边界条件和测试合理性，却缺乏运行证据。二者互补后，Schema 可以把反馈变成受控的难度和概念调整，使演化过程产生连续、可验证的学习样本。 #### Method 1. Reviewer 从关键词集合采样概念，构造包含目标、复杂度和相关知识的 Schema，再依此生成或演化 instruction；可添加概念提高难度，也可删减条件形成较简单的问题。 2. Coder 为当前 instruction 生成候选代码及测试，通过 compiler 执行得到 pass/fail 和运行信息；Reviewer 联合读取题目、代码、测试与执行输出，审查语义一致性、约束和边界情况。 3. Interaction-Driven Synthesis 按最大迭代数推进：通过 hybrid feedback 的题目代码对进入数据集，并继续演化新题；失败时尝试以新 Schema 简化任务，经再次验证后决定是否保留并终止该分支。 4. 汇集得到 CodeEvo-100K，并用通过验证的 instruction-code pairs 微调不同规模的通用和代码模型；通过 HumanEval、MBPP、增强测试集及更复杂代码基准考察合成数据的训练价值。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.438.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.438.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.438.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.438.pdf#page=5) 核读章节：Preliminary · Schema-Guided Instruction Generation · Hybrid Feedback for Validation and Refinement · Interaction-Driven Synthesis · Algorithm 1 核读 Schema、双代理反馈及 Algorithm 1 的分支控制。正文验证结合自生成测试与模型审查，本笔记不将通过验证等同于程序正确性证明；实验名称依据正文设置。 ### CODESTRUCT: Code Agents over Structured Action Spaces ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.607/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e67/) #### Idea CodeStruct 将代码仓库暴露为 named AST entities 组成的 action space，用 readCode 获取完整语法单元，用 editCode 对函数、类和方法执行 insertion、replacement、removal。它改变 Agent 与代码的接口，而无需更换其规划模型或训练权重。 #### Research Problem Text-based agents 要么读整文件引入噪声，要么读行范围截断函数。String replacement 还要求重写大量原文，格式漂移会导致 no occurrence，重复片段会导致 multiple occurrence，进而浪费重试 token 或产生空 patch。仅提供 repo map 并未改变最后编辑仍依赖文本匹配的问题。 #### Insight 代码已自带作用域和命名结构，可以直接作为工具选择器，而不仅用作模型输入特征。把“要改哪个实体”与“在文本中怎样定位和保存”分开，让工具承担边界定位和语法校验，缩短输出并提高操作可靠性。语法有效性仍不等于行为正确。 #### Method 1. readCode 支持目录浏览、小文件全文、大文件 signatures 摘要，以及 file+selector 的完整实体读取。Selector 可指定 scoped name，如 Class.method，也支持 deterministic name-based fuzzy matching，避免依赖绝对行号。 2. editCode 解析或复用 cached AST，定位 selector 对应节点，取得局部 indentation，按请求在节点后插入、替换节点或删除节点。未找到实体则返回明确错误。 3. 修改后验证 AST 是否存在 syntax error，失败不提交，成功才写回源文件。每次调用构成可跟踪的结构状态转换，Agent 仍需判断功能需求并运行验证。 4. 通过 MCP 将两工具接入现有 Agent，保持其 planning/execution logic。实验在 SWE-Bench Verified 和 CodeAssistBench 上跨模型比较 Pass@1、token/cost 与 empty-patch failures，检查改善是否来自减少接口失败。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.607.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.607.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.607.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.607.pdf#page=5) 核读章节：Structured AST Action Space · Structure-Aware Tools · READCODE: Structure-Aware Code Retrieval · EDITCODE: Structure-Aware Code Modification · Agent Interface and Integration 依据正文工具算法与 benchmark 设计整理。AST validation 保证限定为语法，不把 named entities 误写为完整程序语义证明。 ### Discover and Prove: An Open-source Agentic Framework for Hard Mode Automated Theorem Proving in Lean 4 ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.3/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e1/) #### Idea Discover and Prove（DAP）将自动定理证明拆成发现答案与形式化证明两个环节，并用 Hard Mode benchmark 显式要求系统自己求出未知量。Discovery Module 先以自然语言推理、自检和修正产生答案，再把答案填入 Lean 4 statement，交给现有 prover 证明，因此可以复用擅长 Easy Mode 的 ATP 模型。 #### Research Problem 很多 ATP 数据集已在待证 statement 中写入最终答案，系统只需证明已知结论；这会绕开竞赛数学中关键的答案发现过程。部分 formalization 还弱化了原题目标或添加额外前提，导致高证明通过率不能完整反映原问题求解能力。直接把两个 sorry 的 Hard Mode 问题交给传统 prover，也超出了其主要训练任务。 #### Insight 自然语言 reasoning model 与 formal prover 的优势互补：前者更容易探索候选答案，后者提供机器可检查的推导。以候选答案将两个待完成目标变为一个证明目标，能够连接两类模型，同时分开测量答案发现正确率和形式证明成功率，暴露两者之间的能力差距。自检本身只是发现阶段的启发式，最终证明仍由 Lean 检验。 #### Method 1. 对原始自然语言题目生成解答过程；同一 reasoning LLM 检查推理并输出 error report，发现错误后据此修正，反复 self-verification/self-correction。实验使用 GPT-OSS-120B，最多尝试 30 轮，失败则退回未经自检的候选答案。 2. 利用原始 Hard Mode Lean statement、题目和推理结果执行 rewriting，将未知答案对应的 sorry 替换为候选解，生成只剩证明 sorry 的 Easy Mode statement。 3. 将重写问题交给 Goedel-Prover-V2-32B，采样正式证明并通过 Lean 4.15.0 与 KiminaServer 检查；主要实验用 32 samples 和 Pass@32，分别比较有无 discovery agent 的配置。 4. 由两名具 Lean 经验的专家独立重标 MiniF2F 与 FIMO，保留原题语义、统一 formalization 风格，修复弱化目标等错误并将 FIMO 移植到 Lean 4；在新 Hard 数据与 PutnamBench、CombiBench 上联合评估。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.3.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.3.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.3.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.3.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.3.pdf#page=6) 核读章节：3.1 Discovery Module · 3.2 Proving Module · 4.1 Annotation Principles · 4.2 Data Selection · 4.3 Dataset Quality Fixes · 5 Experiments 核读两个模块、重标规则与实验预算。摘要与正文对 CombiBench prior SOTA 数量表述不同，因此未复述该比较数值。Lean 验证确保生成 statement 的证明有效；原题与 formal statement 的语义对齐依赖数据专家检查及 rewriting 的正确性，不能单凭编译自动保证。 ### EGSS: Entropy-guided Stepwise Scaling for Reliable Software Engineering ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1359/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d133/) #### Idea EGSS 将软件修复的 test-time scaling 拆为按步骤不确定性分配搜索预算，以及跨轨迹合并测试后选择补丁。其重点不是无差别生成更多完整候选，而是在关键工具决策处分叉，并把各条轨迹产生的调试证据转化为共同的可执行验证标准。 #### Research Problem 重复采样或均匀树搜索会在读取、编辑等近乎确定的步骤上浪费计算；最终候选选择又常依赖单个 judge 或各自生成的测试。作者发现许多失败轨迹已经做过自我验证，说明单一路径可能陷入 self-deceptive debugging，测试成功并不能暴露其他推理路径识别出的缺陷。 #### Insight 工具选择 entropy 在轨迹中高度不均匀，少数高熵节点更值得探索。与此同时，不同候选的调试过程包含互补的边界条件和回归需求；聚合这些需求可改善选择，而不必把每条轨迹仅视为一个最终补丁。 #### Method 1. Dynamic Stepwise Search 计算当前状态下工具分布的 entropy，在高不确定性决策处进行重点扩展；辅助 LLM judge 根据任务、轨迹、rubric 和下一动作在线评估分支。 2. 搜索评分结合动作 log-likelihood、judge 反馈及长度归一化，对 partial trajectories 排序并保留 top-K 路径，产生多样候选补丁和对应轨迹树。 3. Test Consolidation Augmentation 从整棵树提取调用调试工具的节点，TestConsolidationAgent 联合仓库上下文生成统一测试套件；TestEvaluationAgent 通过 bash 工具逐个执行，按 pass-rate 阈值过滤补丁。 4. 对通过测试的候选，由多个 PreferenceSelector 独立结合仓库上下文选择，再 majority vote 得到最终补丁；实验同时报告实际 resolved percentage、候选 oracle 表现与 token 成本。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1359.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1359.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1359.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1359.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1359.pdf#page=6) 核读章节：Preliminary · Tool Use Entropy Heterogeneity · Self-Deceptive Debugging · Dynamic Stepwise Search · Test Consolidation Augmentation 核读经验分析、搜索评分和测试合并 Algorithm 1。entropy 与关键决策的联系是作者经验解释；统一测试提高覆盖但不构成补丁正确性的形式证明。 ### FormalScience: Scalable Human-in-the-Loop Autoformalisation of Science with Agentic Code Generation in Lean ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1057/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e124/) #### Idea FormalScience 将科学推导的 autoformalisation 组织为专家可介入的 agentic code generation 流程：先补齐自然语言问题与推导，再用 Lean4 编译反馈修复代码，并分别检查形式有效性与语义对应。由此构建含 200 道大学物理题及证明的 FormalPhysics，供研究科学形式化中的 alignment drift。 #### Research Problem 科学推导使用 Dirac notation、向量算子及领域隐含假设，不能直接套用以纯数学命题为中心的自动形式化。仅依靠 Lean 编译成功会把符号替换、抽象提升或省略物理关系后的较弱命题当作成功；同时要求领域专家先精通 Lean 又限制数据生产。 #### Insight 编译器负责证明给定形式命题，领域专家负责该命题是否仍表达原科学问题，两类校验不能互相替代。论文的价值在于把这种分工嵌入迭代流程并量化残余漂移；FormalPhysics 的形式有效率为 100%，而所报告的 logical preservation 和 mathematical consistency 约为 72%，因此并非全部科学语义已被证明。 #### Method 1. 从已有 informal proofs 和少量 gold statement–proof 示例出发，以 few-shot、多轮提示生成题目并扩展推导细节；专家检查其与原材料及示例标准的对应。 2. 代码 agent 将 statement–proof pair 转为 Lean4/Mathlib，执行编译器，把报错连同当前代码反馈给修复提示，迭代直到编译或预算限制。 3. 随后由 LLM 提供语义 alignment 评估，专家作二元接受或要求改进；改进后的代码再次经历编译修复，人工迭代受 patience 参数约束。 4. 把批量输出拆成独立 statement、proof、code 三元组，重新编译并必要时再次修复与检查，避免拆分破坏依赖。 5. 用 compiler validity、formal quality、logical preservation、mathematical consistency 等指标评估语料，并比较 zero-shot、error-feedback self-refinement 和 multi-stage agent 的形式化表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1057.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1057.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1057.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1057.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1057.pdf#page=5) 核读章节：FormalScience: A human-in-the-loop agentic semi-autoformalisation pipeline 核读正文流程、语料评估及 alignment drift 讨论；实证范围为物理。形式有效与语义一致的区别来自作者评估，未将 pipeline 的领域通用设计表述为跨学科实证。 ### MavenCoder: Competitive Code Generation via Model Adaptive Planning Strategies and Multi-Perspective Verification Enhancement ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1403/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d137/) #### Idea MavenCoder 根据当前模型对题目的推理 confidence 选择 direct plan、reflection 或 tree decomposition，并在写完整程序之前检查 plan 的中间步骤。它将模型能力相关的规划预算与执行反馈结合，减少简单题过度推理和困难题规划过浅两种失效。 #### Research Problem 现有 planning–coding–debugging 多 agent 系统常采用固定流程，同一问题对不同模型却可能有不同难度；只在最终程序上调试，也容易让早期错误规划传到后续实现。单靠语言 verifier 或未经筛选的 token confidence，可能受模板文本高概率影响，无法可靠定位真正的算法推理问题。 #### Insight 难度应相对于执行模型估计，而中间计划的可信度需要同时参考模型自身分数、实际运行证据与步骤位置。对可疑的早期推理先修正，再让 coding agent 实现，能够缩短错误传播链；但是公开样例和模型生成的局部规格覆盖有限，因此该验证是启发式筛查，并非程序正确性证明。 #### Method 1. 从初始推理的 top-k token log probabilities 计算内部 confidence score；用规则排除 Markdown、开场语等 template tokens，经滑动窗口与 k-means 聚类得到高低 confidence 比例，分配 Easy/Medium/Hard。无内部概率访问时改用指令分类。 2. Easy 直接生成计划，Medium 结合样例与算法知识自反思，Hard 用 iterative deepening 构建子问题树；保存子问题 embedding 和解答，通过相似度排除重复分解，再将树线性化为保留层次的计划。 3. 对每个 plan step 合并三个信号：相对 confidence、由该步骤生成 modular function 并执行 public tests 的反馈、Beta density 构造的位置权重；低于阈值时定位最早可疑步骤，结合 traces 进行多轮修正。 4. coding agent 根据验证后的计划生成程序，在 public tests 上运行；debugging agent 汇总错误位置、原因和修复指令，携带历史代码与错误继续迭代。hidden tests 仅用于最终评价，六个 benchmark 覆盖函数级和竞赛编程。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1403.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1403.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1403.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1403.pdf#page=5) 核读章节：3.1 Problem Modeling · 3.2 Model-Adaptive Difficulty Assessment · 3.3 Adaptive Planning Strategies · 3.4 Multi-Perspective Verification Module · 3.5 Code Synthesis and Debugging · 4.1 Benchmarks 已核读 confidence、三类规划、步骤验证及修复循环。正文对负平均 log probability 的分数方向与 certainty 的解释存在不易直接对应之处；笔记保留其内部评分用途，不声称该值具有统计 calibration 保证。步骤运行反馈还依赖模型声明的语义，不能视作独立完备规格。 ### ParaCodex: A Profiling-Guided Autonomous Coding Agent for Reliable Parallel Code Generation and Translation ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.732/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e89/) #### Idea ParaCodex 把 OpenMP GPU 并行化和 CUDA→OpenMP 迁移组织成有明确中间产物的工程流程：先分析热点与数据，再通过编译和数值检查建立正确实现，最后依据真实 profiler 结果优化。核心贡献是把 HPC 专家工作方式嵌入 coding agent，而不是提出新的代码模型。 #### Research Problem 能编译并通过测试的并行程序仍可能因为数据传输、kernel launch 或错误的数据驻留策略而缓慢；直接生成 pragma 容易遗漏 reduction、依赖与 recurrence。已有 compile/test repair 缺少性能反馈，性能优化方法又可能缺少每阶段的正确性约束。 #### Insight 并行化不仅是选择循环，还涉及哪些数组驻留设备以及何时传输。把分析、数据计划和优化计划显式写出，可以约束后续修改；将功能正确性与硬件测量分别作为门槛和优化信号，能避免把不正确或 CPU fallback 的结果误认为高速 GPU 实现。 #### Method 1. 分析输入程序，按估计运算量识别关键循环，用 Types A–G taxonomy 标记依赖、数据属性与风险，形成 analysis.md，作为转换前的结构化依据。 2. 生成 data_plan.md，针对不同循环选择 scoped target data、异步 nowait pipeline 或持久 device memory 等策略，再实施 OpenMP target 转换并优先 offload 关键计算。 3. 阶段之间通过 Makefile harness 与串行参考比较，利用 gate.h 的 checksum 和 norm 定位差异，结合编译错误和数值不一致迭代修复。 4. 正确后用 NVIDIA Nsight Systems 收集 kernel 时间、传输和 API 信息，生成 optimization_plan.md 并执行定向优化；GPU 时间退化超过 10% 则回滚。实验区分有效 GPU offload 与绕过执行，并将 GPU time 与 wall-clock 含义分开。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.732.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.732.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.732.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.732.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.732.pdf#page=6) 核读章节：ParaCodex Agent Overview · Pipeline Stages · Tooling Integration · Prompt Engineering Strategy · Experimental Setup · Success Rate and Bypass Detection 核读完整工作流及指标定义。作者 GPU time 为 kernel 与传输时间之和，不含 API overhead；结果排除部分不适用或 bypass kernels，因此不能将有效子集成功率当作全部输入成功率。 ### ReLook: Vision-Grounded RL with a Multimodal LLM Critic for Agentic Web Coding ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1167/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e138/) #### Idea ReLook 把网页代码的视觉反馈引入 agentic RL：策略生成代码、渲染截图、调用冻结 MLLM critic 获得诊断并修改，以视觉质量奖励学习反思。训练后的默认推理可移除外部 critic 和截图调用，让视觉监督形成低成本的内部修改能力。 #### Research Problem 网页代码正确性取决于像素布局与交互，语法通过或文本 critique 无法充分反映视觉失配。一次性 vision-to-code 缺少迭代修正，而直接奖励多轮反思会出现无效渲染、评分投机或策略回避修改，导致训练轨迹不能稳定提供改进信号。 #### Insight 视觉诊断只有在有效渲染且修改确有评分改善时才构成可靠训练信号。ReLook 将无截图轨迹置零，并只接受 critic 分数严格增加的修改来构建 rollout；这种单调性属于训练 critic 的评分路径，并不是对真实网页质量的保证。独立离线评估器用于减轻训练评分器偏好带来的混淆。 #### Method 1. 策略产生文本及 HTML/CSS/JS/SVG；遇到 get_feedback 时在 sandbox Chromium 执行，获取加载后及随后两次 temporal screenshots，由冻结 Qwen2.5-VL-72B 返回分数与诊断，再将反馈加入上下文。 2. 每个 query 采样多条 trajectory，以 visual score 和长度惩罚形成奖励；必要截图任一次渲染失败或超时则整条轨迹奖励为零。 3. Forced Optimization 仅接受比当前最好奖励严格更高的 revision；拒绝时重采样，每轮最多尝试十次，否则结束并保留已有最好结果。 4. 使用 GRPO 的组内相对优势更新策略，critic feedback tokens 屏蔽梯度，配合 KL 约束；可加入轻量反馈蒸馏辅助损失学习 self-reflection 风格。 5. 在去重的前端任务上训练，默认测试至多三轮无 critic、无截图的自编辑；用独立 Gemini evaluator、HTML 单元测试和交互 benchmark 分别检验视觉与功能表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1167.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1167.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1167.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1167.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1167.pdf#page=5) 核读章节：Problem Formulation · Overall Framework · Iterative Reflection Mechanism · Reinforcement Learning Framework · Forced Optimization 核读训练目标、渲染奖励、接受规则与默认推理协议；单调改进限定为 accepted rollout 的 critic score。本文未新增人类评测，而引用所用 benchmark 的评估器一致性证据。 ### SpecAgent: A Speculative Retrieval and Forecasting Agent for Code Completion ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.786/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e98/) #### Idea SpecAgent 将昂贵的 repository 探索从代码补全的即时路径移到后台 indexing，并为每个文件预先缓存检索证据和可能新增函数的 speculative drafts。用户开始补全时，只需把这些 context blocks 与当前局部代码一起提供给 completion model，利用预先计算换取更丰富的跨文件上下文。 #### Research Problem Repository-level completion 需要项目 API、依赖和调用惯例，BM25、dense retrieval 等通常在获得当前函数 query 后才检索，质量与交互延迟相互制约。另一方面，仅从 benchmark 删除目标函数体仍会留下未来调用者、测试、注释等信息，使检索方法获得在目标函数尚未开发时不应存在的提示。 #### Insight 文件的已有结构可以提前提供未来编辑方向，检索到的事实用于约束接口，预测出的实现可作为候选草稿，二者互补。关键不是消除计算，而是把分析提前并跨多次补全复用；相应评估也必须区分 indexing-time snapshot 与目标函数已存在的 inference-time repository。 #### Method 1. 在目标文件和 indexing-time repository 上运行只读探索 agent，使用 file read、keyword search 和 shell 检查依赖、helper、调用模式与结构信息；Retriever Agent 输出 ranked retrieval blocks，Forecaster Agent 输出可能新增函数的 prediction blocks。 2. 按固定 context budget 混合两类输出，主实验采用 9 个检索块和 3 个预测块，并按文件存入 index。补全时拼接 left/right context、函数 signature/docstring 与缓存块，再调用独立 completion model。 3. 设计 function removal agent，在静态分析定位 callers 后进一步编辑仓库，删除与目标函数语义相关的 imports、注释和周边逻辑，构造合成的较早仓库状态并保持剩余功能；以 REPOCOD 为基础构建评估。 4. 比较检索、预测、混合和不同 context 配比，并设可读取目标实现的 oracle retrieval 参考。正文基线沿用原 REPOCOD inference-time 设置，而自家 agent 使用清理后的 snapshot；因此同时报告质量与即时检索延迟，并讨论后台成本和重新索引问题。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.786.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.786.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.786.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.786.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.786.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.786.pdf#page=7) 核读章节：3.3 Indexing-Time vs. Inference-Time Retrieval · 4.1 Indexing-Time Agents · 4.2 Oracle Agent · 5.1 The Future Context Leakage Problem · 5.2 Benchmark Construction · 6.1 Experimental Setup 核读 context 构造、缓存、benchmark 清理及两类比较协议。零额外探索延迟不等于零 indexing 成本，增量重索引仍是未来工作；清理状态是 agent 合成而非真实历史提交。基线与本方法的仓库状态差异在正文明确列出，未将比较描述为完全相同信息条件。 ### Towards Trustworthy Smart Contract Synthesis: A Multi-Agent Framework with Lean-Based Verification ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1836/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e218/) #### Idea LeVer 将 smart contract synthesis 变成生成、形式验证、对抗执行和修复的闭环：不仅检查已有漏洞模式，还从需求推断 safety properties，并将 Solidity 抽象为 Lean 4 状态转移模型进行证明。攻击轨迹还能反向扩充待验证性质，使动态测试与形式推理共同推动代码演化。 #### Research Problem LLM 能轻易生成 Solidity，但传统编译、静态扫描和测试很难证明资产管理逻辑满足需求；仅枚举已知漏洞也难覆盖复杂状态交互。另一个缺口是自然语言需求与可证明 invariant 之间存在语义距离，完整性质集合无法直接给定，复杂性质还可能超出证明预算。 #### Insight 针对选定的状态安全性质，若初始状态满足 invariant 且每个成功转移保持它，就能约束所有可达状态。实际攻击则提供具体反例及缺失性质的线索。两种机制互补，但形式结论依赖所采用的语义抽象与性质集合，不能直接扩大为任意 EVM 行为的保证。 #### Method 1. Coder 根据自然语言需求生成候选合约；PropertySelector 依据 Hierarchical Assurance Spectrum 选择相关 invariant，覆盖基础执行约束到更高层经济行为。 2. LeanFormalizer 在 deterministic closed-system abstraction 下，将 storage 映射为不可变状态、函数映射为状态转移，并将事件与转账意图显式编码为输出；为各性质生成待证明 theorem 模板。 3. LeanProver 通过 LLM 生成 tactics，利用 Lean compiler 反馈修复 proof，替换临时 sorry 占位；成功证明说明形式模型中的指定性质成立。 4. Attacker 在 POMG sandbox 中组织诚实和恶意代理，并允许对抗性交易排序；Runtime Oracles 在原子转移后检查性质。AttackAnalyst 汇总反例和证明失败，反馈 Coder 修复，并通过 Attack-to-Property 扩展性质库，直到满足停止条件或预算耗尽。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1836.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1836.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1836.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1836.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1836.pdf#page=7) 核读章节：Formal Verification in Lean · Problem Formulation · The LeVer Framework · The Neuro-Symbolic Verifier · The Adversarial Attacker 核读形式化定义、Verifier 三模块和攻击反馈闭环。形式保证明确限定于正文的 deterministic closed-system abstraction 与已证性质；动态攻击未成功与形式证明成功是不同证据。 ### ChipSeek: Optimizing Verilog Generation via EDA-Integrated Reinforcement Learning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1154/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d115/) #### Idea ChipSeek 将 Icarus Verilog、Yosys 和 OpenROAD 的反馈直接接入 RTL 生成 RL，以 hierarchical rewards 同时学习格式、语法、功能、可综合性和 PPA；CDPO 在各奖励独立归一化之后组合 advantage，并随掌握程度调整基础奖励权重。 #### Research Problem 常规 SFT 倾向生成能工作但 PPA 较差的 Verilog，外部反复改写优化又没有把硬件取舍纳入模型能力。语法和功能是 PPA 评估前提，奖励尺度及学习难度不同，直接合成一个标量容易造成干扰并浪费昂贵 EDA 时间。 #### Insight 先通过必要约束再评估物理指标，使训练反馈既有层次又节省计算；在 advantage 空间分开标准化可以减少 power/delay/area 与二元奖励的尺度差异。随着语法等成功率升高，降低对应权重，把学习重心移向功能与用户偏好的硬件目标。 #### Method 1. 从在线 Verilog 仓库筛语法有效代码，用 DeepSeek-R1 生成设计说明和 CoT，构成 cold-start SFT；GPT-5 生成多测试用例 testbench，验证 code/testbench 对，并通过 NanGate45 流程提取 reference PPA。 2. 模型按设计说明生成 reasoning 和 RTL，依次执行 Syntax→Function→Synthesis→PPA 门控；某阶段失败则停止后续评估并置后续 reward 为零。格式单独检查，功能通过全部 test cases 才得分。 3. PPA 对 power、delay、area 分别计算 reference/generated 比值；在训练 prompt 添加如 low_power 等优先级，赋予总和为 1 的 preference vector，让指定目标占最高权重。 4. 每题采样一组完成，对每个 reward component 单独计算组内标准化 advantage；process 权重由全 batch 成功率的补数产生并 EMA 平滑，function 权重固定，PPA 按 prompt preference 加权，最后相加进入 clipped policy objective。 5. 用 29,127 条 SFT 与 8,453 条 RL 样本训练多种 7B code model，并排除 benchmark 内容；EDA 任务并行加 fail-fast 降低成本，比较功能与 PPA 以及单目标偏好控制。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1154.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1154.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1154.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1154.pdf#page=5) 核读章节：Method · Hierarchical Rewards Definition · Curriculum-Guided Dynamic Policy Optimization · Multi-Stage Data Generation Framework · Implementation Details 已核读 EDA gating、逐分量 advantage 和数据构造。功能正确性依据所给 testbench，PPA 对应指定工艺/工具流程，不扩展为所有输入的形式化正确或所有工艺的最优。 ### CodeFlowBench: A Multi-turn, Iterative Benchmark for Complex Code Generation ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.201/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d19/) #### Idea CodeFlowBench将复杂程序拆成有依赖关系、逐轮实现的函数任务，检验模型能否复用前轮组件并最终集成完整解法。它为每个子问题提供描述和unit tests，用通过轮数与依赖深度补充最终Pass@k，使多轮代码构建中的中途失败可被定位。 #### Research Problem 单函数benchmarks过于简单，一次生成完整程序或一次repository修改又难以测出持续开发中的接口维持与依赖管理。现有多轮任务有的只是对同一段代码反复修复，并不要求按模块从底向上构建；最终成败指标还会把早期失败与几乎完成的模型同等处理。 #### Insight 经过验证的完整程序包含天然的function dependency graph，也包含执行时各子函数的输入输出。用这一结构反向构建任务，能够把同一问题转换为多轮组件开发，并将“能实现局部函数”和“能整合深层依赖”分开衡量；与一次生成全部组件对照可观察多轮组织的额外困难。 #### Method 1. 从Codeforces抓取问题和官方editorial，用DeepSeek-R1整理为模块化solution，并提交官方judge，只保留通过所有官方测试的实现，构建5258题的CodeFlowBench-Comp。 2. 解析solution AST，提取函数依赖并拓扑排序；用DeepSeek-V3把函数逻辑反向写成自然语言子问题，在公开测试输入下执行完整程序并instrument函数调用，捕获每个子问题的input-output tests。 3. 将同一Subproblem Generation pipeline应用到DomainEval的高质量GitHub项目，形成覆盖Basic、Cryptography、Network、System、Visualization的Repo部分，并标记interaction turns及dependency depth。 4. 每轮给定总问题背景、当前函数签名/说明及之前实现，要求生成下一个函数并进行单元验证；与单轮同时生成全部组件比较。除Pass@k外报告Pass Turn、Pass Depth及其均值和多次采样版本，Comp评测选最新1000题以控制成本及降低潜在污染。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.201.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.201.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.201.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.201.pdf#page=6) 核读章节：3.1 Data Curation Pipeline · 3.2 Benchmark Details · 3.3 Evaluation Framework · 4 Experiments · 4.1 Main Experiments 核读数据、AST拆解、函数测试与指标正文。函数tests来自完整程序在public inputs上的运行，不等价于每个子函数的完备测试；AST按函数拆解也不自动证明Single Responsibility。最新题筛选是降低泄漏风险措施，未写成已消除所有training contamination。 ### From Laboratory to Real-World Applications: Benchmarking Agentic Code Reasoning at the Repository Level ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.399/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e38/) #### Idea RepoReason 用 Abductive Assertion Verification 评测 repository-level reasoning：隐藏测试断言中的确定值，让 agent 通过跨文件阅读和状态推演补出答案。通过执行驱动 mutation 与 dynamic slicing，benchmark 同时降低记忆答案的可能性并给错误提供可解释的复杂度诊断。 #### Research Problem 函数级代码题缺少真实 repository 依赖，修复型 benchmark 又多只给 pass/fail，难区分检索、理解、模拟状态和多源整合失败。直接使用开源测试的原始常量可能被记忆或就近复制，随机隐藏代码又容易产生多解和语法噪声。 #### Insight unit-test assertions 是开发者选定的语义检查点，适合作为可验证状态问题；改变测试事实后由 Python runtime 重新生成答案，可以保持真实 API 推理结构而减少原答案泄露。对断言做 causal slicing，则能把仓库总体大小与实际必需信息负担分开。 #### Method 1. 选取成熟的 predominantly pure-Python repositories，排除核心逻辑不可由 Python tracing 观测的大量 native extensions。人工过滤 trivial API checks、浅层变换、随机性或外部状态依赖测试。 2. 教师模型联合修改变量表达、常量与输入，同时保持原 API call sequence；把 assertions 暂转为 DEBUG_RESULT probes，执行获取真实状态，再按原风格重建断言。仅保留可运行、断言成立且调用序列一致的变体。 3. 用 sys.settrace 记录目标库调用与状态，按文件、函数、调用次数和深度进行结构筛选；确定值协议拒绝时间、地址、多解比较与动态引用，优先保留 literals/constants 等稳定答案。 4. 从 assertion 沿控制和数据依赖构造 dynamic slice，定义 ESV 为相关计算单元代码量、MCL 为按执行次数计的状态推进长度、DFI 为独立上游逻辑输入数。以 ReadOnlyAgent 评测 2,492 题，按维度分析 comprehension、simulation 与 integration 相关失败。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.399.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.399.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.399.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.399.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.399.pdf#page=7) 核读章节：Foundation: Real-world Repository Curation · Countering Memorization: The Execution-Driven Mutation Engine · Countering Superficiality: Trace-Based Structural Filtering · Countering Ambiguity: The Deterministic Value Protocol · Cognitive Diagnostic Framework · Experimental Setup 核读 mutation、运行验证、筛选与三个诊断指标。trace 收集设有最大调用深度，且图示与正文筛选阈值表述不一致，笔记不采用争议数值；复杂度与失败的关联属于经验诊断。 ### GitChameleon 2.0: Evaluating AI Code Generation Against Python Library Version Incompatibilities ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2170/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d218/) #### Idea GitChameleon 2.0 把 library version 当作代码生成必须满足的显式条件，提供 328 个 Python completion 问题及独立执行环境、可见测试和隐藏测试。它研究模型面对多个版本的已知 API 时，能否选择指定版本的正确调用和行为。 #### Research Problem 通用 coding 分数无法直接表示 version-conditioned generation；代码迁移 benchmark 多关注从旧项目升级，另一些评测不执行候选。即使模型知道某功能，也可能混用已废弃参数或不同版本语义，因此问题不是单纯获取最新知识。 #### Insight 在 prompt 明示版本并安装同一版本才能把“遵循版本要求”落到可运行证据。可见测试允许自我调试，但隐藏测试才检验是否泛化到其他输入；作者发现 self-debug 提高隐藏正确率的同时扩大 visible–hidden gap，说明修好已见反馈不等于完整掌握 API。 #### Method 1. 选取有充分 changelog 的热门 Python library，人工查找函数弃用、参数、行为和新增功能变化；忽略不影响表面 API 用法的 backend 优化，覆盖 26 库、2014–2023 版本。 2. 针对每处变化编写问题、starter code、reference solution、简洁 visible test，并整理版本相关文档供 RAG；由 coding agent 辅助生成 hidden tests，经运行反馈修正和人工核验，使用精确依赖版本的 Docker 验证参考实现。 3. 所有方法收到目标版本约束，执行环境安装相应版本；主指标为 hidden test success，API Hit Rate 仅检查是否调用参考 API，允许功能等价解因使用其他 API 而 hit 较低。 4. 比较 greedy、zero-shot CoT、基于 visible test 的 self-debug、RAG、multi-step agent 和 CLI/IDE assistant，并对 agent 是否能访问 sandbox 作对照，测试文档与执行反馈各自贡献。 5. 按版本变化类别、模型及反馈设置分析错误，特别检查过时属性/参数和 visible–hidden 差距；版本有意落在多数模型训练时间范围内，目标是版本消歧而非纯粹未知版本泛化。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2170.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2170.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2170.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2170.pdf#page=5) · [PDF p. 13](https://aclanthology.org/2026.acl-long.2170.pdf#page=13) 核读章节：Dataset Structure · Evaluation Metrics · Statistics · Experimental Setup · LLM Self-Debugging · Multi-Step Agent · Dataset Construction Process · Dataset Validation · Hidden Test Construction 已核读任务设计、执行双控制、测试生成和 self-debug 分析。本文参考测试可检查功能和版本，不将通过有限测试等同于任意程序行为正确。 ### KoCo-Bench: Can Large Language Models Leverage Domain Knowledge in Software Development? ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1311/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d129/) #### Idea KoCo-Bench把domain-specific coding评测改为显式提供知识语料后，测试模型能否获取并应用新框架知识。它将framework文档、源码和examples组成Knowledge Corpus，再用依赖这些框架的项目构建多粒度代码生成及知识Q&A任务，支持比较SFT、RAG、kNN-LM和coding agents等不同specialization方法。 #### Research Problem 已有领域代码benchmarks常只给测试题，实际测模型预训练时已掌握多少知识，无法可靠评价适应新领域的方法。同领域项目之间知识重叠可能很弱，简单train/test函数拆分也不能保证训练资料足以支持任务；code completion和文本相似度还容易把多种有效答案混为错误。 #### Insight 软件框架与基于其实现的项目天然具有知识复用关系，因此能建立来源清晰的知识—任务配对。把要求写成领域问题，再通过执行tests判断实现，既可检验理解API、规则和约束，也能减少仅靠记忆代码片段的评价方式；独立Q&A则帮助观察知识掌握与代码应用的差异。 #### Method 1. 围绕较新的框架收集documentation、source和usage examples，构建涵盖六域、11 frameworks的知识语料；选取主要依赖对应框架且满足依赖时间要求的25个项目作为代码任务来源。 2. 人工按project、module和core function三层写需求，排除config/utils等通用辅助逻辑；agent尝试实现以暴露歧义，再经人工和另一agent反复审订，直到需求清晰。 3. 复用或新建unit tests及integration tests；新测试覆盖函数branches并运行gold code产生expected outputs，对无明确输入输出的函数instrument调用顺序，所有测试在相应Docker环境验证。 4. 对缺少合适项目的框架构造领域multiple-choice Q&A，先人工示范、模型扩展，过滤三种基线都轻松答对的题并人工复核；分别用执行测试与选择题正确率评估知识获取、应用及不同specialization方法。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1311.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1311.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1311.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1311.pdf#page=6) 核读章节：3.1 Task Formulation · 3.2 Benchmark Construction · 3.2.1 Knowledge Corpus · 3.2.2 Domain Code Generation · 3.2.3 Domain Knowledge Understanding · 3.3 Features of KoCo-Bench · 4 Experiments 核读知识语料配对和人工/agent协同标注流程。最终规模以统计表11个frameworks为准，构建段落关于候选框架筛选的数量未自行推算。新框架与cutoff约束帮助研究新知识适应，但不写成所有评测模型均无预训练污染的保证。 ### MARS2: Scaling Multi-Agent Tree Search via Reinforcement Learning for Code Generation ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1538/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e188/) #### Idea MARS2 将多个独立优化的 code-generation agents 放入同一 tree-search 环境，让不同 policy priors 在候选生成与修订中协作。训练不仅比较整棵树的节点分数，还奖励子节点相对父节点及兄弟节点的改进，使 structured search 本身成为学习过程。 #### Research Problem 普通 GRPO 的独立采样受单一策略先验限制，训练后探索容易集中到少数高概率路径；单 agent tree search 虽有结构，也难逃同源偏好。已有 multi-agent 方法常与搜索训练分离，且直接全局标准化节点奖励忽略父子依赖，无法充分分配协作贡献。 #### Insight 不同模型提供互补探索分布，树结构又记录每次候选的生成与修订关系。奖励既应承认最终测试表现，也应体现相同上下文中的相对提升；这样各 agent 能在共享搜索反馈下学习，而无需共享全部参数或只模仿最强模型。 #### Method 1. 以完整候选代码为 tree node，用 AB-MCTS-style Beta priors 和两级 Thompson sampling 先选 agent、再选其 expandable node。generation option 扩展新候选，refinement option 沿已有方案继续修订，并读取执行反馈。 2. 对非根节点构造父奖励与其他兄弟均值的 mixed baseline，将节点相对该基线的增益加入原始 task reward；无兄弟时退化为与父节点比较。再对全树 shaped rewards 做 group-relative normalization。 3. 采用 GRPO-style clipped objective 与 KL 项，各 agent 仅用自己生成节点的 token likelihood 独立更新。以过滤掉全对和全错问题后的 7,992 个 DeepCoder prompts 训练，比较单 policy、单 agent tree search 和多 agent 版本。 4. 区分单次采样 Pass@1 与搜索推理：统一 MCTS 推理 budget 为 60 nodes，public tests 引导测试时搜索，private tests 评最终效果，在 LiveCodeBench 上分析训练协作与推理组合的独立贡献。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1538.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1538.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1538.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1538.pdf#page=5) 核读章节：Problem Formulation and Preliminary · Tree-Node-Level Reward Assignment · Tree-Consistent Reward Shaping · Optimization Objective · Experimental Setup · Training and Inference Configurations 核读树节点定义、奖励和优化公式。标题中的多 agent scaling 同时涉及训练与搜索，不能把带 MCTS 的 Pass@1 等同于单次模型输出；私有测试只用于最终评测。 ### MMSciCode: Real-world Evaluation of Multilingual Multi-Discipline Scientific Research Coding ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1566/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d158/) #### Idea MMSciCode 从真实论文和其代码库中挖掘核心科学算法函数，要求模型结合论文段落、公式及周边代码补全实现。624 个问题覆盖六大学科、38 个主题和 Python、C/C++、R，并提供逐题容器与专家测试。 #### Research Problem 常规函数题常集中单语言或算法技能，不能检验模型是否把科学定义、数学推导与工程接口同时实现。直接从 repo 随机挖函数又可能只测胶水代码或依赖记忆，因此需要专家定位论文核心方法与真实代码之间的对应关系。 #### Insight 以 paper–code alignment 确定被遮蔽的核心算法，同时保留必要上下文，可以把任务困难集中在科学概念到实现的转换。容器和单元测试使结果可复现，但测试通过提供的是所覆盖输入下的功能证据，而不是整篇研究结论被完整复现。 #### Method 1. 从 ICLR 2025 oral/spotlight 与 2024 年起 Nature Communications 搜集有公开代码的论文，按领域分配给 21 名具研究编码经验的标注者；筛除结构差、无法对应核心算法或混合语言的项目。 2. 专家识别论文中的公式、模型或创新算法，利用 AST 定位对应函数，提取相关原文上下文；必要时把松散代码封装为有参数和返回值的函数，清除目标实现并给出功能描述。 3. 为每题配置独立 Docker 依赖环境，构建常规、边界和特殊输入测试，并确认原始 reference function 全部通过；双专家核查算法与科学合理性，排除缺乏领域难度或依赖过重实例。 4. 模型收到 masked function、周边代码、论文段落/公式和关键实现要求；自动只替换被遮蔽区域，在保留原项目结构的容器中执行测试，并记录输出、运行时间和资源，对照参考实现。 5. 评测多种 foundation model 与两种 Claude Code 配置；另按每学科五题抽取 30 题，由对应领域专家在 closed-book、open-book 和可见参考的 oracle 条件下作答，为人机差距提供有限样本对照。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1566.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1566.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1566.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1566.pdf#page=5) 核读章节：MMSciCode Benchmark Construction · Preliminary Setup · Paper-Grounded Method Implementation Annotation · Example-Specific Evaluation Development · Data Quality Control · Experiment Setup 已核读专家筛选、论文代码对齐、测试开发及自动替换协议。人类对照只覆盖 30 题且各条件时间/资源不同，不解释为全数据集无条件人类上限。 ### OctoBench: Benchmarking Scaffold-Aware Instruction Following in Repository-Grounded Agentic Coding ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.269/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e23/) #### Idea OctoBench评测repository coding agents在真实scaffold中能否持续遵守多来源指令，将process compliance与任务结果分开观察。每项任务配有原子化binary checklist，完整记录模型看到的system reminders、tool schemas及repository规则，再逐项核验实际行为。 #### Research Problem 代码测试通过不代表agent遵守了高优先级规则、工具约束或跨轮持续要求。现有instruction-following任务多为显式单轮文本条件，无法捕捉scaffold动态注入、仅在特定动作后激活的约束；只看最终patch也会漏掉执行过程中的违规。 #### Insight 检查依据必须是模型实际收到的message stream及行为，而不是只用用户起始query。将异构规则转为适用时才检查的原子项，可分别得到整体完全遵从率和部分遵从率；另设受控单对冲突任务，则能观察不同来源的优先选择而不混入大量互相矛盾条件。 #### Method 1. 将repository policy、skill docs、可选persistent state及辅助材料封装入Docker，分别实例化Claude Code、Kilo和Droid三类scaffold；人工以Activation、Verifiability、Feasibility为准则构造72个seed，再扩展至34环境217项任务。 2. 固定GPT-5.1 reference agent每题运行16次，依据normalized trajectories生成checklist，再合并去重并经human–LLM review、人工抽查和双标注audit形成7098个检查项。 3. 通过proxy logger保存每次模型request/response和tool行为，规范为messages/tools结构并索引assistant turns；judge根据完整轨迹逐项给binary分，使用三个judge平均结果。 4. 只对已激活且适用的检查项计分，Instance Success Rate要求全项通过，Check item Success Rate先算每题通过比例再宏平均；主集保持无冲突，另建32项Conflict子集，每题只注入一对矛盾指令以分析来源优先。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.269.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.269.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.269.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.269.pdf#page=5) 核读章节：3.1 Datasets · 3.1.1 Environment Setup · 3.1.2 Task Construction · 3.1.3 Checklist Construction · 3.1.4 Conflict Construction · 3.2 Automatic Evaluation · 3.3 Metrics 已核读构建、观测和评分正文。objective/binary checklist仍由LLM panel结合轨迹判定，并非所有项是程序规则；normalization会截断过长文本。CSR是per-instance宏平均而非全部check项池化比例，主集与Conflict附集范围已区分。 ### RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.415/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d43/) #### Idea RepoGenesis 把代码生成评测提升到从 README 构建完整 web microservice repository，要求模型同时交付代码、配置、依赖与启动能力。通过黑盒 API tests 分别衡量功能正确、API 覆盖和部署成功，揭示“能启动”与“业务正确”的差距。 #### Research Problem 函数或类级生成不测架构与跨文件一致性，issue-fixing benchmark 已提供现成工程骨架，也无法代表从零实现服务。完整微服务需要协调认证、数据库、错误处理和 API contracts，现有评测对这些 0-to-1 能力覆盖不足。 #### Insight 高层需求应被转换成外部可观察的 contracts，以黑盒执行评价实现自由度较大的完整系统。部署、接口覆盖、整套测试通过是不同层面的质量，联合测量才能避免把基础设施完善误判为功能完成；测试本身则需要多方审阅与人工处理分歧。 #### Method 1. 整理 Python/Java 微服务需求，结合可部署的 GitHub 项目与专家撰写需求的补充场景；去掉实现，只提供包含 API 输入输出、认证、错误与运行约束的 README。总计 106 个任务，划分 76 个训练与 30 个 Verified 评测 repositories。 2. 为 API compliance、error handling、edge cases 和 integration 生成黑盒 tests，经三模型独立 blind review、refinement 和人类 Area Chair 仲裁迭代改进；Verified 集人工排除歧义需求及不稳定测试。 3. agent 或 IDE 从空目录生成源码、配置和 dependencies，sandbox 部署后执行测试。Pass@1 对应一次候选整套测试通过，AC 测要求的 endpoint 功能覆盖，DSR 测能否部署初始化。 4. 按代码量、cyclomatic complexity、文件、API 与函数/类等指标划难度，比较 agent scaffolds 与商业 IDE；训练集采用自动分歧丢弃流程，另用于 fine-tuning GenesisAgent-8B，检验该任务资源的学习价值。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.415.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.415.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.415.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.415.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.415.pdf#page=6) · [PDF p. 13](https://aclanthology.org/2026.acl-long.415.pdf#page=13) · [PDF p. 16](https://aclanthology.org/2026.acl-long.415.pdf#page=16) 核读章节：Statistics of RepoGenesis · Task Definition and Challenges · Evaluation Pipeline · Repository Collection · Repository Preprocessing · Test Case & Quality Assurance · RepoGenesis for Training · Pass@k Calculation and Its Necessity for Estimation 核读构建、质量控制及附录 Pass@k 定义。Verified 与 Train 的来源统计在正文存在不一致，笔记采用明确总量与划分，不复述冲突细分；Train 不含相同人工仲裁质量保证。 ### RExBench: Can coding agents autonomously implement AI research extensions? ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.745/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e92/) #### Idea RExBench 评测 coding agent 对已有 AI 研究提出的明确 extension 能否独立实现：输入论文、原 repo 和专家写的研究假设/测试要求，输出代码 patch，再运行新实验并与专家 gold 的数值结果比较。任务覆盖模型、数据、算法和评价修改。 #### Research Problem 修 bug 或复现已公开论文代码不等于实现新研究扩展；开放科学发现又难自动评分。需要保留读论文、定位代码和设计实现的自主性，同时把任务约束到可运行、可比较且没有公开完整解答的范围。 #### Insight 研究 extension 可作为开放研究与可验证 coding 之间的中间层：假设由人给定，但实现方案仍由 Agent 推导。最终数值与运行成功分开能暴露“代码能跑但研究问题实现错”的差距；数值接近 gold 是本 benchmark 的操作性判据，并非所有科学有效性的充分证明。 #### Method 1. 选择 12 个 NLP/ML 研究扩展，要求原论文关键趋势可复现、gold extension 不依赖不可持续的闭源模型调用，并能在单 A100、12 小时内完成；提供论文 PDF/Markdown、代码及固定依赖。 2. 领域专家先复现原实验，再实现 extension 和记录数值，另一作者复核；指令只提供较高层设计要求，但补齐模型标识、必要超参和可能造成随机差异的实现约束，确保任务自含。 3. gold patch 和评测脚本私有保存。Agent 提交 git patch 与日志，后台在同规格 VM 的任务专属 Apptainer 中应用 patch，控制 random seeds，限时执行并提取结果。 4. Final Success 要求确定性任务精确匹配，随机任务落在 gold 五个 seed 的均值±2标准差；另报 Execution Success 与修改文件的 File Recall，后者只衡量定位而不作为唯一正确性条件。 5. 以 aider/OpenHands 搭配六类 backbone，每题重复五次；主实验为可控运行时间禁用 Agent 的 Python 执行，完整实验由评测端运行。另增加定位提示及累计的逐步实现提示，分析自主性与人类指导的差距。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.745.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.745.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.745.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.745.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.745.pdf#page=6) 核读章节：Benchmark Design · Research Extension Task · Benchmark Composition · Benchmark Construction Process · Evaluation Metrics · Evaluation Infrastructure · Main Experiment · Experiment with Additional Hints 已核读 gold 构造、数值区间和执行基础设施。主实验禁用 Agent Python 运行是重要能力边界；该限制属于论文 baseline 设计，不是 benchmark 对所有未来提交的要求。 ### Taming System Complexity: Demystifying Software Engineering Agents in Diagnosing Linux Kernel Faults ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.862/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e107/) #### Idea 论文用LinuxFLBench系统检验通用software engineering agents在Linux kernel的fault localization能力，再提出LinuxFL+对已有预测做目录与潜在原因扩展。它利用文件结构和历史LKML邮件补足搜索范围，以较小额外推理成本重新排序可能的故障文件。 #### Research Problem SWE-bench等常见环境以规模较小的Python项目为主，不能代表kernel庞大文件空间、复杂日志和硬件相关故障。研究发现agents经常识别到相关module却选错邻近文件，或只检验少数看似最可能的原因，从而漏掉真实根因。 #### Insight 初始预测即使不精确，也可提供局部目录和相关代码文件作为检索先验；独立生成更多原因假设并用历史修复讨论补充，可从另一条路径找回漏掉候选。结构邻近与原因推断互补，最终合并排序比完全重新运行完整agent更节约成本。 #### Method 1. 从Kernel Bugzilla收集CLOSED/CODE_FIX且有patch的报告，只保留官方版本代码与单个.c/.h文件修改，再人工删除非bug、信息不足和直接泄露位置/修法的样本，得到250项、覆盖120版本的file/method localization任务。 2. 用统一GPT-4o比较SWE-Agent、AutoCodeRover、Agentless及IR baselines，以Recall@1/5/10与MRR评估；人工分析共同失败案例，提炼相关文件混淆和原因探索不足。 3. Directory-Aware Expansion查看初始预测目录中的所有文件并选top-10；Direct Hypothesis要求模型列潜在原因、可能修复及需改文件；Mail-Augmented Hypothesis检索含patch的历史LKML邮件，按初始文件限制范围并用重写bug描述做BM25。 4. 邮件限于报告之前、去除过多文件修改及特定链接/bugzilla内容；三个来源以reciprocal rank sum合并候选，再由LLM按path与report语义重排，必要时利用文件skeleton进一步定位函数、结构体等代码块。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.862.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.862.pdf#page=4) · [PDF p. 6](https://aclanthology.org/2026.acl-long.862.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.862.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.862.pdf#page=8) 核读章节：3.1 Construction of LinuxFLBench · 3.2 Characteristics of LinuxFLBench · 4.1 Study Setup · 4.3 Qualitative Analysis · 5.1 Approach · 5.1.1 Directory-Aware Expansion · 5.1.2 Potential Cause Expansion · 5.1.3 Candidate Integration · 5.3.2 Method-level FL 核读benchmark筛选与扩展/重排正文；ground truth为developer patch修改位置，不等于已形式证明的全部故障因果位置。本文主要评价定位而非自动修复成功，邮件时间过滤与链接过滤是降低泄漏措施，未声称彻底排除知识污染。 ### When "Correct" Is Not Safe: Can We Trust Functionally Correct Patches Generated by Code Agents? ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.707/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e84/) #### Idea 论文将 functionally correct yet vulnerable（FCV）patch 定为独立评测对象：代码修复通过功能测试，仍可能引入 CWE-defined security weakness。研究先测干净任务中的自然风险，再在 issue 文本中加入误导性开发建议，检验这种风险是否会被放大。 #### Research Problem 代码 agent 主要按功能测试是否通过评价，现有安全研究又常关注显式恶意动作或会造成测试失败的修改。若不安全实现仍满足既有测试，常规成功率既看不见风险，也无法区分 agent 原有安全缺陷与外部 issue 注入的影响。 #### Insight 功能约束和安全约束并不等价，测试覆盖的正常行为可与危险边界行为同时存在。因此要把“补丁可用”与“补丁被判断存在目标弱点”联合统计，并在干净环境可解任务上比较，避免把能力不足混入攻击效果。 #### Method 1. 首先检查 Mini-SWE-Agent 在 SWE-bench 上通过功能验证的补丁，量化其中被安全评估标记的问题，定义 FCV Rate 为正确补丁中含漏洞的比例。 2. 在 black-box、单次提交条件下，把目标 CWE 相关建议作为看似普通的维护说明附在原始 issue 中，保留原问题；研究四类 weakness，覆盖敏感信息暴露、XSS、SQL injection 和 code injection。 3. 在三种 agent scaffolds 与四种模型组合上，仅选各组合干净 Pass@1 可解决的实例。先用官方 SWE-bench harness 核验功能，再由获得 CWE 定义及 patch 的 Qwen3-Coder judge 输出结构化 vulnerability verdict。 4. 分别报告 Pass@1、FCV Rate 和 ASR，后者要求补丁同时功能通过且匹配目标 CWE；另报告任意四类 weakness 的 relaxed ASR。controlled-trajectory variant 固定干净执行历史、在续写前加入相同指导，用于分析历史与最终补丁生成的作用。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.707.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.707.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.707.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.707.pdf#page=5) 核读章节：Why "Correct" Is Not Secure: Motivating Observation · Threat Model · FCV-Attack · Experimental Setup · Evaluation Protocol · Evaluation Metrics 核读威胁模型、受控变体及双阶段评价。漏洞判定主要依赖 LLM judge，所读方法未提供每个样本的可执行 exploit 证明；ASR 的分母是各组合筛选出的干净可解任务。 ## 05 · 搜索 / 检索 / Deep Research 34 篇 · CVPR 2 · ACL 32 ### Paper2Figure: A Multi-Agent Collaborative System for Figure Generation Towards Academic Research Paper CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Han_Paper2Figure_A_Multi-Agent_Collaborative_System_for_Figure_Generation_Towards_Academic_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c88/) #### Idea Paper2Figure 以 FigScript 作为论文说明与可编辑图形之间的中间表示，由 generation agents 生成初稿，再由 refinement agents 查看实际渲染图并修改同一份结构。最终图可在 web editor 通过自然语言或直接拖动继续修订，避免把输出锁定为不可编辑像素。 #### Research Problem 直接 SVG/Mermaid 生成虽然保留结构，却容易出现布局僵硬、线路混乱与视觉质量不足。Text-to-image 可以提供风格，但文字、箭头语义和复杂模块关系不稳定，也难精确局部修改。科学图要求信息正确、结构完整和视觉可读同时成立。 #### Insight FigScript 把 nodes、edges、containers 和 styles 提升为语义可操作对象，让语言模型围绕模块与关系修改图，而不是处理冗长低级绘图坐标。实际 render 是独立反馈界面，能够暴露文本代码层面未必明显的重叠、对齐和可读性问题。 #### Method 1. Generation subsystem 中 Plan Agent 提取 entities、processes 与逻辑关系，安排模块层级和 flow direction；Module Agent 建立 FigScript 节点、容器、标签和边；Layout Agent 调整 alignment、routing、spacing 与 grouping，再确定性渲染。 2. Refinement subsystem 由 Critic Agent 阅读渲染图识别位置、文字、色彩及杂乱问题，Refine Agent 生成结构化修改计划，Edit Agent 更新 FigScript 并重新渲染。默认只做一轮 refinement，若无问题提前停止。 3. Web editor 将 Conversational Panel、Live Canvas 与 FigureScript Inspector 连接到当前共享状态，用户可让 Agent 改名称或位置，也可直接编辑图形，后续自动修订继续使用该状态。 4. 构建 100 个学术主图及经人工核验的文本描述，比较 code/image baselines 与有无 refinement。评价以 Accuracy、Beauty、Completeness 等权组合，Completeness 先仅看图生成 reverse caption 再与目标描述比较，并用人工评分检查自动指标相关性。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Han_Paper2Figure_A_Multi-Agent_Collaborative_System_for_Figure_Generation_Towards_Academic_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Han_Paper2Figure_A_Multi-Agent_Collaborative_System_for_Figure_Generation_Towards_Academic_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Han_Paper2Figure_A_Multi-Agent_Collaborative_System_for_Figure_Generation_Towards_Academic_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Han_Paper2Figure_A_Multi-Agent_Collaborative_System_for_Figure_Generation_Towards_Academic_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Han_Paper2Figure_A_Multi-Agent_Collaborative_System_for_Figure_Generation_Towards_Academic_CVPR_2026_paper.pdf#page=5) 核读章节：Paper2Figure Dual Multi-agent System · FigScript: Structured Intermediate Language · Paper2Figure Web Editor · Data collection and captioning · Evaluation Metrics 依据正文方法及评价设计整理。 ### RAAS: LLM Agentic System Architecture Search with GRPO CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yang_RAAS_LLM_Agentic_System_Architecture_Search_with_GRPO_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c96/) #### Idea RAAS 将 Agentic Supernet 的架构搜索重点转向评估信号质量：同一 query 下比较一组候选 workflow，并对每个 workflow 重复执行后再计算相对收益，减少任务难度和随机执行对架构更新的干扰。搜索对象仍是按 query 生成多 agent workflow 的 operator 分布，而非直接微调执行任务的 LLM。 #### Research Problem 直接基线 MaAS 以概率化 supernet 组织可选 operators，但若不同架构在不同问题上只执行一次，绝对分数同时反映问题难度、架构能力和生成随机性。简单题可能让弱架构得到高评价，困难题又可能压低有效设计；因此搜索器可能强化偶然成功的结构，而非具有稳定收益的组合。 #### Insight 架构价值更适合被定义为相同任务条件下相对同组候选的贡献，且该贡献应基于重复实验的中心趋势。CAO 的组内中心化移除共同的 query 分数水平，MTAS 的 trimmed mean 降低异常执行的影响；二者分别针对跨问题偏移与同一架构的执行波动。有限样本和候选组质量仍影响估计，正文的稳定性解释不等于全局最优保证。 #### Method 1. 构建具有多层 operator 概率分布的 Agentic Supernet；每个架构由逐层激活的 operator 集合形成，目标以任务效用减去加权计算成本表达性能与开销的权衡。 2. 针对同一 query 从当前分布采样 N 个候选架构；MTAS 对每个候选进行 K 次独立随机执行，去掉两端一定比例结果后取 trimmed mean，形成能力估计。 3. CAO 计算候选组能力均值，以每个架构的聚合分数减去该均值作为 contextual merit，使同题内优于同伴与低于同伴的架构得到相反更新方向。 4. 用 contextual merit 乘以架构 log probability 对 operator 参数的梯度，汇总组内更新并迭代优化；在数学推理、代码生成和 GAIA tool use 上比较 MaAS 等方法，同时分析成本与稳定性。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_RAAS_LLM_Agentic_System_Architecture_Search_with_GRPO_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_RAAS_LLM_Agentic_System_Architecture_Search_with_GRPO_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_RAAS_LLM_Agentic_System_Architecture_Search_with_GRPO_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_RAAS_LLM_Agentic_System_Architecture_Search_with_GRPO_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Yang_RAAS_LLM_Agentic_System_Architecture_Search_with_GRPO_CVPR_2026_paper.pdf#page=6) 核读章节：3.1. Agentic Supernet Foundation · 3.2. Core Principle: Stable Evaluation through Synergistic Design · 3.3. Contextual Architecture Orchestration (CAO) · 3.4. Multi-Trial Assessment Synthesis (MTAS) · 3.5. End-to-End Architecture Discovery · 4.1. Experimental Setup 已核读 supernet、组内相对收益、重复执行聚合与梯度更新正文。作者以方差分析和实验支持稳定性；笔记将其解释为降低评估噪声，不把有限 K 的 trimmed mean 或组内中心化表述为完全消除随机性、任务难度或保证搜索最优。 ### Autonomous Knowledge Graph Exploration with Adaptive Breadth-Depth Retrieval ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.714/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a36/) #### Idea ARK 用极简 graph-native tools 将 KG retrieval 变成自适应交互：agent 随时在全图 lexical search 和一跳 neighborhood exploration 之间切换，逐步 SELECT 证据节点并决定停止。它不预先固定 seed 或 hop depth，并可将大模型探索轨迹蒸馏到小模型以降低推理成本。 #### Research Problem 相似度检索擅长覆盖广泛文本，却难满足关系链条件；纯 traversal 从少数 seed 开始，一旦种子错误或查询涉及多个分散实体，就容易困在局部邻域。预设固定 hop 数也不适合复杂度不同的问题，训练 graph-specific retriever 则增加迁移与标注成本。 #### Insight breadth 和 depth 是同一查询过程中可反复切换的操作，而不是必须先选定的 retrieval paradigm。保留全局搜索使 agent 能重新定位，one-hop tool 的组合提供按需多跳能力；最终按被选中节点的顺序和多条独立探索的共识形成 ranking。 #### Method 1. 将 KG 节点的 titles、descriptions 等文本建立 BM25 index；Global Search 接收 agent 生成的 subquery，返回全图 top-k candidates，使模型能寻找初始入口或重新 anchoring。 2. Neighborhood Exploration 从给定节点取相邻实体，按可选 node/edge types 过滤并可用 subquery 排序；边方向与类型在输出中暴露，模型通过连续调用形成多跳路径，穿插全图搜索并维护已选节点列表，FINISH 或 budget 达到时结束。 3. 运行多个独立 agent trajectories，将各自排名列表拼接，以节点出现频次排序，平票用最早出现位置处理；研究 tool-call budget 与并行 agent 数对 retrieval robustness 和成本的作用。 4. 用 teacher tool-use traces 做 assistant-token next-token SFT，mask 用户和工具输出，不需要 ground-truth evidence-node labels；在 STaRK 的 AMAZON、MAG、PRIME 上按 Hit@1/5、Recall@20、MRR 比较，并评估 Qwen3-8B 蒸馏结果。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.714.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.714.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.714.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.714.pdf#page=5) 核读章节：3 Adaptive Retriever of Knowledge · 3.1 Tools · 3.2 Parallel Exploration · 3.3 Agent Distillation · 4.1 Benchmark · 4.2 Baselines and metrics 核读工具参数、SELECT/FINISH、投票融合及蒸馏 loss。training-free 指原始 ARK inference framework，蒸馏版本明确需要 SFT；label-free 指不需 relevance labels，仍以 teacher decisions 为监督。部分 baselines 使用原论文报告值，不能认为全部在相同 backbone/实现下重跑。 ### DREAM: Deep Research Evaluation with Agentic Metrics ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.448/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a20/) #### Idea DREAM 让 Deep Research 的评估也具备检索和工具能力，先独立于待评报告创建问题专属评价协议，再按指标调用普通 LLM、agent 或验证 workflow。它明确区分写作流畅、任务覆盖、推理有效、引用忠实与外部事实正确，针对“看起来像好报告”的 Mirage of Synthesis。 #### Research Problem 开放研究问题没有唯一参考答案，静态 rubric 与无工具 LLM judge 又难核查时效性和复杂事实。引用与原网页一致只证明 citation faithfulness，不能排除网页过时或本身错误；流畅文字还能掩盖循环论证和无依据推断，因此常规评分可能对关键质量退化不敏感。 #### Insight 评价者需要与被评代理相应的取证能力。可普适的写作和引用指标可固定，而必须覆盖什么事实、需要何种推理应根据查询和当前证据生成；事实真实性应独立搜索 supporting 与 contradicting evidence，避免只在报告提供的引用内循环验证。 #### Method 1. 用四维 taxonomy 整理 Presentation Quality、Task Compliance、Analytical Depth、Source Quality；保留 Writing Quality、Factuality、Citation Integrity 与 Domain Authoritativeness 等静态指标。 2. Protocol Creation Agent 依据 query 调用 web、ArXiv、GitHub 等工具，生成时效明确的 Key-Information Coverage yes/no checklist，以及带信息提取、外部验证和评分步骤的 Reasoning Quality plans。 3. 执行时由 LLM 评写作和 checklist 覆盖，agent 按计划核查 reasoning；workflow 抽取 claims 后以中性查询找外部证据，另将 citation attribution 与 faithfulness 的调和平均作为 Citation Integrity，并评价来源域信誉。 4. 用人工评价协议的相关性、清晰性和可验证性，再通过人为改变知识截止时间、注入推理错误及保留引用匹配的事实污染实验，检测各指标对受控退化的敏感度。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.448.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.448.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.448.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.448.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.448.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.448.pdf#page=7) 核读章节：Diagnosing the Evaluation Landscape · Phase 1: Protocol Creation · Phase 2: Protocol Execution · Human Evaluation of Protocol Quality · Temporal Awareness in KIC · Detecting Reasoning Flaws · Grounding Beyond Citation Alignment 核读创建/执行分工及受控验证设计。reference-free 不等于无外部依据，而是不依赖单一标准报告；受控小样本敏感性证据与全面替代专家评审是不同主张。 ### FlowSearch: Advancing Deep Research with Dynamic Structured Knowledge Flow ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.971/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d93/) #### Idea FlowSearch 以可持续修改的 Dynamic Structured Knowledge Flow 组织 deep research。它将 search、solve、answer 子任务及依赖显式表示为 DAG，让独立分支并行收集证据，同时根据中间发现增删或修改节点和依赖，以协调探索广度与局部推理深度。 #### Research Problem 单 agent 的长上下文容易锁定早期假设，多 agent 固定串行计划又需要压缩跨步骤上下文，导致推理链断裂。研究任务的证据依赖往往非线性且会随新发现变化，因此预先一次性规划或简单按位置传递结果难以适应未知知识缺口。 #### Insight 把依赖关系和已获得知识从线性对话中显式化，使执行顺序由证据就绪状态决定，而非固定脚本。局部 executor 可深入处理节点，refiner 则结合全局知识修订研究结构；两层配合提供系统的任务组织方式，但一致性仍由 LLM 检查判断。 #### Method 1. 每个节点记录任务类型、描述、执行状态和知识 context，边记录结果如何支持或约束下游；从唯一 query node 出发，planner 反复展开子问题及 supporting evidence，直到不再添加节点。 2. Knowledge Collector 选择全部依赖已完成的可执行节点，分配带 browsing、download、VQA 等工具的 executor，各自开展序列推理与检索，可并行处理独立分支。 3. 成功节点把获取或推导的信息压缩成 context 供下游读取，失败则更新状态；每轮执行后交给 Knowledge Flow Refiner 检查事实冲突与规划不足。 4. refiner 可 Add/Delete/Modify Node 和 Edge，修正任务内容、缺失证据与错误依赖，再继续 collect–refine loop。 5. 最终 query node 针对简短问题整合相连证据直接作答，复杂报告则汇总全图知识；在 GAIA、GPQA、HLE 与科学研究任务检验框架表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.971.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.971.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.971.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.971.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.971.pdf#page=6) 核读章节：Structured Knowledge Flow · Knowledge Flow Planner · Knowledge Collector · Knowledge Flow Refiner · Conclusion Generation 核读图表示、增量初始化、节点执行和六种变换操作；图结构使依赖显式可检查，不等于形式验证证据或保证事实正确。不同 backbone 的结果不能全部归因于编排机制。 ### IntrAgent: An LLM Agent for Content-Grounded Information Retrieval through Literature Review ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.29/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e6/) #### Idea IntrAgent 面向 IntraView：只根据给定 scientific paper 回答细粒度研究问题，先利用 section hierarchy 推理相关位置，再逐节提取证据并检查充分性。它将阅读过程显式分为结构定位和证据积累，避免把整篇文献压给模型或只按 chunk embedding similarity 找答案。 #### Research Problem 实验参数、样本定义和技术细节可能分散在多个不相邻 sections，也可能根本没有报告。普通 RAG 的表面相似匹配容易取错相关但非目标情境，全文 prompting 又被冗余信息干扰。开放 literature-search agent 的目标与这里仅忠实提取指定内容不同，可能引入外部知识或生成式补全。 #### Insight 论文标题层级本身携带“信息通常出现在哪里”的结构先验，LLM 可以利用它排序阅读顺序；逐条将细节锚定到原句，并在每轮检查是否充分，能让跨章节综合与缺失信息识别成为明确操作。这里的可靠性来自可追溯证据和阅读控制，而不是对论文科学结论的外部验证。 #### Method 1. 用 MinerU 将 PDF 转成 Markdown，提取 headings，再让 LLM 恢复 parent–subsection hierarchy；删除无实际内容的冗余父节点路径，形成可对应原文 text 的 section tree。 2. 给定问题和过滤后的标题集合，让 LLM 推理并输出 section relevance ranking，将全文重排为 heading/text pairs，按优先级读取而不只依赖 dense retrieval。 3. 循环执行 section access、detail extraction、sufficiency check；记录术语、数值、实验设定等与原句对应的 details 到短期记忆，信息不足继续下一节，足够后用累计证据合成简洁答案。提供控制阅读量的三种 confidence styles。 4. 构建五个 STEM 领域共 315 个 expert-authored instances，每域从专家熟悉文献池随机选五篇。系统生成 free-form short answer 且看不到选项，评价 LLM 将答案映射到专家设计的六选项，无法对齐则归 None of the above，最终以映射 accuracy 比较多 backbone 和 RAG/agent baselines。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.29.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.29.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.29.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.29.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.29.pdf#page=6) 核读章节：3 Proposed IntraView Task · 4.1 Overview of IntrAgent · 4.2 Section Ranking · 4.3 Iterative Reading · 5.1 Overview of IntraBench · 5.2 LLM-Grounded Multiple-Choice Evaluation for IntraBench · 5.3 Construction of IntraBench Dataset · 6.1 Experiment Settings 核读结构解析、证据锚定、停止检查与评价映射。sufficiency check 是 prompted LLM 判断，不能保证零 hallucination；benchmark 为 315 个问题而非 315 篇论文，free-form 系统未被提供 multiple-choice options。所读正文的 conservative style 读取较少、aggressive 较多，笔记未按日常词义反转该设置。 ### MemSearch-o1: Empowering Large Language Models with Reasoning-Aligned Memory Growth in Agentic Search ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.41/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e8/) #### Idea MemSearch-o1 将搜索记忆从不断拼接的历史转为由 query seed tokens 生长的细粒度 fragments，并在回答前回溯重排为连贯 memory path。它既保留与当前搜索目标对应的证据，又用原始问题约束最终记忆，减少多轮检索中的信息稀释与目标漂移。 #### Research Problem think-search loop 会积累冗余文档和思考记录，长上下文中的重要证据容易被忽略；整段 query-document embedding 或直接摘要又可能把关系混在一起，丢失细节。由于这些记忆还会影响下一轮搜索，早期低质量压缩可能逐步放大检索和推理偏差。 #### Insight 问题中的实体、动作、程度与时间限定分别承载不同语义需求，逐 seed 提取证据比对长文档作统一压缩更容易聚焦。最终有价值的片段不仅要接近原问题，还需要与其他片段形成桥接；因此记忆筛选和路径组织应同时考虑目标相关性与片段间连接。 #### Method 1. 每轮对搜索 query 用 spaCy 提取和分组 memory seeds，区分 subjects、actions、degree modifiers 与 temporal markers，以这些词组明确本轮证据需求。 2. 将各 seed、检索结果和当前 query 约束交给 LLM，生成简洁且相关的 memory fragments，供后续 reasoning 与搜索继续使用。 3. 搜索结束后汇集所有轮次 fragments，计算对原始 query 的 embedding cosine relevance，以及与其他片段的 bridge potential，按加权 contribution 和阈值剔除低贡献记忆。 4. 用带相邻语义平滑惩罚的 greedy search 组织有限长度 memory path，最终直接基于该路径生成答案；与无记忆管理及其他 memory baselines 在长文档 QA 和大语料搜索上比较。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.41.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.41.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.41.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.41.pdf#page=5) 核读章节：Memory Seeds Preparation · Memory Fragments Growth · Memory Path Retracing · Dataset and Metrics · Implementation Details 核读 seed 构造、fragment 生成和路径目标。所谓 token-level growth 是以语言学词组为 seed 的文本记忆生成，不是修改模型内部 KV cache；相关性与平滑评分属于启发式选择而非事实真伪验证。 ### MMSearch-R1: Incentivizing LMMs to Search ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.114/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d12/) #### Idea MMSearch-R1 直接用 GRPO 训练 LMM 在真实互联网的 image search、text search 与直接回答之间作多轮决策。方法将带搜索惩罚的 outcome reward 与 search-balanced VQA 数据配合，使模型学习何时借助外部知识以及采用哪种检索模态。 #### Research Problem 固定 retrieve-then-generate 即使模型已知答案也会搜索，文本 agent 的训练又不足以处理视觉实体未知和实体事实未知这两类知识缺口。若训练集全部需要检索，策略容易形成无条件调用习惯；缺少简洁可验证答案也会使多模态 RL 的奖励不可靠。 #### Insight “是否需要搜索”取决于当前模型已有能力而不是题目固有标签，因此用模型 rollouts 操作性区分 search-free 和各类 search-required。让无搜索正确回答获得更高收益，同时保留必要搜索成功样本，可形成内部知识与外部取证之间的实际取舍。 #### Method 1. 构造 FVQA：从 MetaCLIP visual concepts 的头部/尾部采样并检索图文网页，用 GPT-4o 生成简洁 factual VQA，结合 InfoSeek 文本知识题及人工真实查询，并按知识 taxonomy 平衡。 2. 先在完整数据训练 probe model，每题采八条 rollouts；全错则剔除，有任一不搜索正确则标 search-free，其余按正确路径中的 image/text/mixed search 分类，得到约五千题平衡子集。 3. image search 对原图返回前五个相似网页 thumbnail/title；text search 执行模型 query，经 SerpApi、Jina Reader 和 Qwen3-32B summarizer 返回相关网页摘要。 4. 每轮在 reason 后选择一个动作，检索结果加入 information block；直到回答或轮次上限，环境返回 tokens 屏蔽训练损失。 5. GRPO 不用额外 cold-start，奖励组合 exact-answer correctness 与严格格式；只要正确轨迹发生搜索就对正确性分数乘 penalty factor，比较答案性能及 search calls。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.114.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.114.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.114.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.114.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.114.pdf#page=5) 核读章节：Group Relative Policy Optimization · Multimodal Search Tools · Rollout with Multi-turn Search · Reward Modeling · Training Dataset Construction 核读工具链、数据平衡及奖励细节；search-required 是基于特定 probe rollouts 的操作性分类，搜索惩罚按是否调用应用，不误写为逐次线性罚分。 ### Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1952/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e226/) #### Idea Paper Circle 将文献发现和单篇深读整合为共享状态的多 agent 平台：Discovery Pipeline 持续更新候选论文与排序，Analysis Pipeline 把 PDF 内容转成有 provenance 的 typed knowledge graph，支持 graph-aware Q&A、覆盖检查和结构化 review。主要贡献是可复用的研究工作流与产物组织。 #### Research Problem 检索工具找到论文后，研究者仍需解析方法、实验、图表和关系，并在阅读列表、摘要、引用与分析输出之间保持一致。单体聊天缺少可追踪中间状态，纯 chunk retrieval 又难关联某个方法与其图表、实验或定义，也难发现静默遗漏的章节。 #### Insight 检索与理解需要不同的 agent 职责，但应共享清晰的数据状态和来源信息。用 section/concept/method/experiment 等类型及 relations 组织单篇内容，可以在语义相似检索之外保留结构依赖；覆盖检查则补充“答得像正确”之外的文档完整性信号。 #### Method 1. 基于 smolagents 的 CodeAgent orchestrator 协调 ToolCallingAgents；Discovery 分别解析 intent/年份/会议/模式、执行 offline/online search 与去重、按 BM25/semantic/recency/citation 或 reranker 排序，并更新 shared state、统计和同步 exports。 2. 用 PyMuPDF 提取 metadata、hierarchical sections、figures/tables/equations 及上下文，按段落结构分块，保留视觉元素的独立 chunk；图中节点和边记录 source chunk IDs、页码、verification status 与 confidence。 3. Concept、Method、Experiment 与 Linkage extractors 分阶段构造 MindGraph；Q&A 联合 vector retrieval 与一跳 graph expansion，返回带来源的答案，locate 定位原文；CoverageChecker 统计图、表、章节和公式覆盖并指出遗漏。 4. 扩展 Deep Analyzer、Critic、Literature Expert、Contribution Analyzer、Reproducibility Checker 等 review roles，由 orchestrator 汇总报告。检索实验以 50 个合成自然语言 queries 比较模型、retrieval settings 与 agent compositions，记录 Hit、MRR、Recall、耗时和逐步状态。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1952.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1952.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1952.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1952.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1952.pdf#page=6) 核读章节：3.1 Background · 3.2 System Architecture · 3.3 Paper Discovery Agent Design · 3.4 Paper Analysis Agent · 3.5 Multi-Agent Extraction · 3.6 Research Review Framework · 4.1 Experimental setup · 4.2 Results 核读平台组件、图结构、来源追踪与检索实验。正文的 diffusion-style noising/denoising 指迭代候选集精炼，未给出训练 diffusion model 的方法，故不将其写成生成模型算法。coverage 只检测元素覆盖，不证明技术解释正确；所读实证主要是小规模检索比较和分析展示。 ### SGVEF-LOOP: Coverage-Guided Progressive Topological Exploration and Fact-Grounded Metamorphic Evaluation for MCP Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1224/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a51/) #### Idea SGVEF-LOOP 把 MCP benchmark 构造视为探索隐含工具转移图的闭环过程：主动寻找覆盖不足的工具组合，生成语义等价查询对，并检查参数可解性与执行稳定性。它以 metamorphic relations 降低逐题人工标准答案依赖，同时保留有效但基线尚不能完成的难题。 #### Research Problem 工具组合空间巨大但有效工作流稀疏，随机组合多为不合理链路，静态任务又难说明覆盖程度。LLM 合成还会编造前文无法得到的参数，且通常只检查一次答案，遗漏改写请求后工具行为不一致的问题。仅保留构造模型成功的任务会形成 benchmark ceiling。 #### Insight 有效转移必须同时满足语义合理与后继参数能从初始上下文或前序输出推出。将相同意图的语言变体作为成对测试，可以用相互一致性发现行为问题；将执行有效性与最终正确性分开，才能不让测试难度被构造代理能力限制。 #### Method 1. 建立 Latent Tool Transition Graph，先按工具使用频率反向采样直到节点覆盖充分，再按 server 类别和有限工具实例分层采样，重点扩展尚未覆盖的转移。 2. 由候选工具合成 scenario 与 fact-seeking query，从 Wikipedia 向量库获取静态属性消歧事实，生成共享目标 trace 的语义等价查询对；不兼容组合直接拒绝重采样。 3. Dual Critic 检查 intent equivalence 与 parameter solvability，提供诊断进行迭代修正；高置信样本自动接受，边界样本人工复核，再执行过滤运行异常而保留 valid-but-unsolved cases。 4. 将执行 traces 更新工具计数、边集合和 Chao1 覆盖估计，反馈采样；收敛后从种子自演化并语义去重。评价结合 Tool Call Score、Metamorphic Consistency、Fault Density、答案质量与 execution-completion gap。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1224.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1224.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1224.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1224.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1224.pdf#page=6) 核读章节：Problem Formulation · Adaptive Sampling Strategy · Fact-Grounded Metamorphic Generation · Dual-Constraint Validation · Execution and Feedback Loop · Self-Constructed Evolution · Evaluation Metrics 核读闭环算法与六项指标。Chao1 给出统计估计的有效转移规模，并非已证明的真实图上界；oracle-free 指利用一致性关系，并不意味着无基准 trace、模型裁判或人工边界审查。 ### SPARKLE: A Structured and Plug-and-play Agentic Retrieval Policy for Adaptive RAG Models ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1793/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e214/) #### Idea SPARKLE 用独立轻量 proxy model 控制 frozen reasoner 的 adaptive retrieval，分别承担是否检索、构造 query 和整合 evidence 三种角色。它把中间 thought 压成 KG-based reasoning chain，明确缺口后检索，并只训练 proxy 以支持替换 LLM 或 retriever。 #### Research Problem 仅靠 frozen LLM 提示决定检索缺少直接监督，而微调主 LLM 成本高且耦合其通用能力。直接从长 thought 生成 query 易混入猜测和无关内容；把整批检索文档加入上下文又增加噪声，因此需要独立且结构化的 retrieval policy。 #### Insight 检索控制可以被看作主 LLM 与 retriever 之间的可学习决策层。关系三元组用于识别缺什么与筛选哪份文档，完整 source document 则保留回答所需语境；二叉分支 rollout 对照同一阶段检索和不检索的后果，使 proxy 看到更充分的策略探索。 #### Method 1. Retrieval Decision Agent 读取 question、已取 context 与累计 thoughts 输出 Yes/No；Yes 时 Query Formulation Agent 从 thoughts 抽取含 unknown slots 的 KG chain 并生成针对缺口的 query。 2. Knowledge Integration Agent 在 retrieved documents 的预提取 triples 中选最能填关键缺口的一条，把其 source document 而非仅 triple 加入 context，reasoner 继续生成下一步。 3. 冻结主 LLM 与 retriever，共享 proxy 以不同 role prompts 执行三个 agents，用 PPO 优化；默认 Qwen2.5-3B proxy 配 Qwen2.5-7B reasoner 与 E5 retriever。 4. 训练 rollout 前 L 个 reasoning steps 同时展开 retrieve/non-retrieve 两分支；若检索选到已在 context 的文档则剪掉冗余分支，之后退回普通 policy rollout 控制指数增长。 5. 终局奖励结合 context evidence Recall 与 answer F1，对各 state–action 用可达叶子奖励均值作 Monte Carlo credit assignment；在 ID/OOD QA 与可替换组件条件检验效果。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1793.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1793.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1793.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1793.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1793.pdf#page=5) 核读章节：Agentic Retrieval Formulation · Agent Roles and Collaborative Strategy · Binary Tree-Structured Rollout · Monte Carlo Reward Assignment 核读 proxy 角色、选 triple 后加原文的机制与训练分支。KG 是推理/文档结构化表示，未描述为必须事先构建完整外部知识图数据库。 ### ToolOmni: Enabling Open-World Tool Use via Agentic learning with Proactive Retrieval and Grounded Execution ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1736/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a69/) #### Idea ToolOmni 将 open-world tool retrieval 与执行放入同一个 agent 的 reasoning loop，先主动多次搜索并筛选工具，再依据检索到的 documentation 执行；训练时用 decoupled multi-objective GRPO 分别学习两种行为。它以可检索工具语义代替仅靠参数记住工具，并让执行需求影响工具发现。 #### Research Problem 一次性 embedding retrieval 难以将复杂用户意图映射成覆盖全部子任务的工具集合，执行模型也无法在检索不足时继续寻找。将工具细节记入参数则难应对大规模、持续更新的工具库。简单合并 retrieval 与 execution reward 又会受后者稀疏结果信号影响，导致学习目标相互干扰。 #### Insight agent 可通过 query reformulation 和候选选择主动消解工具语义差距，但 execution 需要先有足够工具才有可学习的成功路径。把两个阶段的 reward、group advantages 与更新分离，并只对召回完整的检索结果展开执行训练，可以稳定学习；这同时意味着训练对失败检索后的恢复覆盖有限。 #### Method 1. 从 ToolBench 构建 cold-start 数据：检索模型与 rejection sampling 得到约 28K retrieval traces，另抽取约 33K execution traces并用 judge 验证；SFT 只监督 agent reasoning/actions，mask 外部 observations。 2. Proactive Retrieval 根据任务反复生成 search query，检索 server 用 embedding cosine top-k 返回候选；agent 从累计结果中选出并排序 task-complete subset，再切换 Grounded Execution，按工具文档生成 arguments 和后续 reasoning。 3. 执行训练使用 LLM-based Tool Simulator 返回 observation，直到 final answer；仅保留召回所有 golden tools 的检索结果启动 execution rollout，reward model 综合所需工具调用与答案正确性给 outcome signal。 4. retrieval reward 结合 format、gold-tool recall 与 retrieved-to-selected conversion，execution reward 结合 format 与 answer。分别做组内 advantage normalization，在同一训练 step 内顺序更新两项目标并 mask tool tokens；ToolBench 多难度与 Instruction/Tool/Category splits 检查检索、端到端执行和泛化。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1736.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1736.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1736.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1736.pdf#page=5) 核读章节：3.1 Problem Formulation · 3.2 Cold-start Tool Learning · 3.3.1 Proactive Tool Retrieval · 3.3.2 Grounded Tool Execution · 3.3.3 Open-world Tool Use Rewards · 3.3.4 Online Policy Optimization · 4.1 Experimental Setup 核读两阶段策略、reward、selective rollout 与 sequential updates。所谓 online environment 在训练中由 LLM Tool Simulator 提供反馈，不等于所有调用实时接入真实 API；gold-tool recall 是训练监督。正文对过滤集合写法 Tsub/Tret 有变化，笔记保留其共同要求：检索须覆盖所需 golden tools 才启动执行训练。 ### What Makes AI Research Replicable? Executable Knowledge Graphs as Scientific Knowledge Representations ACL 2026 · Short · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-short.70/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d228/) #### Idea xKG 将论文中的技术概念、层级依赖与可执行代码模块连接为 Executable Knowledge Graph，作为可插拔知识库支持 AI research replication。代理规划时读取论文技术结构，实现时检索 technique-code pairs，将文献背景转为可直接参考的实现材料。 #### Research Problem 论文复现失败常源于关键细节藏在参考文献、代码和配置中，普通 RAG 的文本片段难表达跨层技术依赖，也容易忽略已有实现信号。代理即使理解总体方法，仍可能生成 dummy scaffold，或被语义相似却技术不匹配的代码误导。 #### Insight 科学知识若同时具有概念说明、结构关系与经执行检查的代码，其复用粒度比单篇论文或文本块更合适。可运行代码能为抽取的概念提供实际落点，但 runnable 不代表与目标技术完全匹配，因此构图和最终检索都需要相关性与可实现性过滤。 #### Method 1. 围绕目标论文核心技术筛选参考文献并进行技术检索，获取相关论文的 arXiv LaTeX 与官方 GitHub，去掉无官方代码及 PaperBench blacklist 中的实现，形成 paper-repository corpus。 2. 用 LLM 将方法分解为分层 Technique Nodes，并从原文检索补全定义；按定义检索仓库代码，再重组为含 implementation、test script 与 documentation 的 Code Nodes，经 self-debugging 检查可执行性。 3. 以 Structural Edges 表示技术依赖、Implementation Edges 连接技术与代码；删除无法找到相关代码的技术节点，减少过细或幻觉概念，形成 Paper/Technique/Code 三层图。 4. 在 planning 阶段提供不含代码的 Paper Node 总览，在 implementation 阶段检索技术代码对，并由最终 LLM Verifier 核查技术相关性；集成至 BasicAgent、IterativeAgent、PaperCoder，在 PaperBench Code-Dev lite 复现评分上比较。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-short.70.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-short.70.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-short.70.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-short.70.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-short.70.pdf#page=5) 核读章节：Design Formulation · Dynamic Corpus Curation · Hierarchical KG Construction · Paper-Guided xKG Integration · Settings · Further Analysis 核读构图、代码验证、集成与评测范围。主结果为 lite subset 上 best@3 Replication Score；代码可执行与技术代码精确匹配分别评估，不应将全部 runnable 节点视为完全正确复现。 ### A Survey of Large Language Model-Based Search Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.374/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e35/) #### Idea 这篇 survey 用 How to Search、How to Optimize、How to Apply、How to Evaluate 四个问题整理 LLM-based Search Agents，将检索组织方式、训练方法、应用环境与评测口径放进统一 taxonomy。其产出是研究地图和开放问题，而不是一个新 agent 或可复现的训练 pipeline。 #### Research Problem Search Agent、Agentic RAG 与 Deep Research 的工作快速增长，不同论文混合比较 search structure、model tuning 和工具环境，使读者难以定位贡献。Survey 试图澄清动态 information seeking 的核心设计维度，并指出现有评价过于关注最终答案、忽略证据处理和来源可靠性的问题。 #### Insight 论文观察到，tuning-free 系统常把探索能力外显为 tree/graph workflows，tuned models 则可把部分策略内化到 sequential decisions；这种分类帮助理解相近效果背后的成本与控制位置差异。它也将 reasoning-centric scaling 与 search-centric scaling 区分，强调更多 internal tokens 和更多 external interactions 是不同资源。 #### Method 1. 按 search structure 对既有方法分类：Parallel 预先拆分多个 queries，Sequential 根据结果与 reflection 决定下一步，Hybrid 以 tree 或 graph 结合分支探索、依赖关系与回溯。 2. 按 optimization 分为 tuning-free 的 single/multi-agent workflows、test-time scaling，以及 tuning-based 的 SFT、RL 和混合策略；进一步整理 reward 中的 correctness、format、efficiency、diversity、evidence quality 等目标。 3. 将 evaluation 拆成任务与 judging 两层：closed/open-ended QA、fact-checking、domain tasks 使用不同指标，rule-based、LLM-as-a-Judge、Agent-as-a-Judge 和 human checks 则有不同能力与成本。 4. 从 taxonomy 汇总未来方向：融合 web、private databases 与内部 memory，处理不完整或冲突证据，发展 multimodal retrieval、long-horizon RL 与更稳定的执行基础设施；这些属于综述归纳与研究建议，并非已由本论文实验验证的解决方案。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.374.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.374.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.374.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.374.pdf#page=5) · [PDF p. 8](https://aclanthology.org/2026.acl-long.374.pdf#page=8) · [PDF p. 9](https://aclanthology.org/2026.acl-long.374.pdf#page=9) 核读章节：How to Search · How to Optimize · Metrics & Judgment · Challenges and Future Directions · Limitations 按 survey 的分类、比较与综合方式解释 Method；主要覆盖学术文献，对商业系统未披露实现的分析有限，不虚构新训练实验。 ### AMATA: Adaptive Multi-Agent Trajectory Alignment for Knowledge-Intensive Question Answering ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.359/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e33/) #### Idea AMATA 将 knowledge-intensive QA 中的 Reconstructor、Retriever、Filter、Locator、Generator、Verifier 六种功能编码为可协调的 trajectory roles，并通过 adaptive preference prefixes 与 dependency-aware DPO 学习哪些角色更重要、哪些工具链应联合使用。 #### Research Problem 固定 multi-agent pipeline 会在简单题上做多余检索或验证，而逐 agent 独立优化又难以保持 Retriever–Filter–Locator 等下游依赖。论文研究如何根据 question 与 trajectory outcome 学习可变的角色偏好，并对成功轨迹内部的协作质量进一步排序。 #### Insight Final correctness 相同的两条轨迹，agent activation 与 dependency coherence 仍可能不同；只把 correct/incorrect 当作 preference pair 无法表达这一差异。作者因此引入基于 prior knowledge 和 LLM annotation 的 dependency scores，但这些分数属于监督 proxy，不是对 agent 因果贡献的直接测量。 #### Method 1. 将各 role 的 action/output 与 special tokens 组织成统一 trajectory，用一个 monolithic model 学习多种角色行为；简单问题可以弱化 external retrieval 或 verification，而非始终运行六个独立模型。 2. Intra-Trajectory Preference Learning 用 LLM 标注每个角色对当前问题的重要性，形成如 <Retriever: 5> 的 prefix，条件化 SFT trajectory generation，让模型学习 question-aware role usage。 3. 收集同题 winning/losing samples；按 dependency score 选出 Top-K winning trajectories，其余即使 final answer 正确，也作为相对较弱的 rejected set，以表达协作结构上的偏好。 4. DA-DPO 使用 listwise Plackett–Luce-style ranking objective 建模 Top-K 顺序与剩余集合，之后结合基础 trajectory prediction loss 训练；在多种 knowledge-intensive QA 数据上评价答案和 token consumption。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.359.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.359.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.359.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.359.pdf#page=6) 核读章节：Intra-Trajectory Preference Learning · Inter-Agent Dependency Learning · Model Training and Inference 核读 adaptive prefix、Top-K winning 重排序和 listwise DA-DPO；multi-agent 指功能角色组织，正文训练为统一模型，并非六个独立 backbone 的 MARL。 ### BrowseComp-Plus: A Fair and Disentangled Evaluation Benchmark for Deep Search Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1023/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e120/) #### Idea BrowseComp-Plus 将 BrowseComp 的开放网页搜索改为固定、human-verified document corpus，使研究者可以独立替换 agent 和 retriever，分别观察 retrieval effectiveness 与端到端 answer quality。它同时提供 evidence documents 和 gold documents，支持对复杂搜索链中的证据覆盖进行诊断。 #### Research Problem 实时商业 search API 的索引、排序和网页内容不断变化，不同 agent 的结果可能来自工具环境差异；没有固定 corpus 与 relevance labels，也无法判断改进究竟来自 planning 还是 retriever。论文要在保留 deep-search 难度的同时，建立更可复现、可拆分比较的测试条件。 #### Insight 固定检索环境不仅服务公平比较，也让更强 retriever 的收益显式可见：其价值可能同时体现为更高成功率与更少 search calls。Evidence coverage 必须覆盖题目全部 clues，gold document 也不能简单定义为出现 answer 字符串的页面，语义上蕴含答案同样重要。 #### Method 1. 以原 BrowseComp question–answer pairs 进行 reverse evidence gathering，让具备 web search 的 o3 按 clue、URL、evidence 输出支持链；抓取页面，排除缺失关键 URL、无法建立完整证据的题目。 2. 人工逐项标注支持 clue 的 text spans，并判断组合证据是否足以回答整个问题；原证据不足时继续搜索补充，同时标注直接或隐含包含最终答案的 gold documents。 3. 将原问题分解为 subqueries，通过 web search 收集 hard negatives，再与 positives 去重合并，形成 830 queries 与 100,195 documents 的固定 corpus。 4. 为 agents 提供可替换 retriever tool；主要设置返回 Top-5，每篇截取前 512 tokens，统一要求 answer、confidence 与 citations。评估需结合该截断设置理解，不能将其等同于完整网页浏览能力或直接拿分数替代原 BrowseComp。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1023.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1023.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1023.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1023.pdf#page=5) 核读章节：Building the Document Corpus · Evidence Document Verification · Hard Negative Mining · Experimental Setup 核读 corpus、human verification、gold/evidence 区分与工具返回限制；ground truth 用于 benchmark 构造，不作为测试 agent 输入。 ### Can Compact Language Models Search Like Agents? Distillation-Guided Policy Optimization for Preserving Agentic RAG Capabilities ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1751/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e207/) #### Idea DGPO 先用 teacher-generated agentic search trajectories 为 compact model 做 Knowledge Distillation，再在 PPO 中仅对答错的 student rollouts 加 teacher KL guidance。答对时保留自主探索空间，答错时用 dense distribution signal 缓解 binary reward 的稀疏性。 #### Research Problem 0.5–1B 级模型直接进行 agentic RAG RL 时初始成功率低，容易训练不稳定；单纯离线 imitation 存在 exposure bias，持续无差别模仿又会限制 student 的独立策略。论文研究如何在 teacher support 与 on-policy exploration 之间建立依赖结果的切换机制。 #### Insight Teacher 的角色可以由固定 policy anchor 改为失败时的指导者：对成功输出无需强制贴近 teacher，对失败输出则利用其 token distribution 提供梯度。这里的选择信号来自训练时可用的 ground-truth EM，并不是部署阶段能无条件识别自身错误的能力。 #### Method 1. 从较强 search policy 收集 teacher-generated outputs，过滤只保留正确轨迹，以 hard-label cross-entropy 加 teacher→student KL 做 cold-start KD，先建立基本 reasoning/search 行为。 2. 让 student 在 retrieval environment 中采样自己的 multi-turn trajectories，用 learned value function 与 GAE 估计 advantage，再执行 PPO clipped updates；该方法保留 critic，区别于 GRPO-style critic-free 训练。 3. 若最终 answer exact-match ground truth，reward 为 1；否则 reward 为 student→teacher KL 的负惩罚。Teacher 在失败轨迹上作为主动 distribution guidance，而不是对所有轨迹施加统一 reference regularization。 4. 在 Wikipedia/E5 retrieval 下比较多种小模型与 teacher，并以 ARCap 的 Source Referencing、Query Rewriting、Thinking 维度分析能力保留；整体 EM 与单项 agentic behavior 诊断需分别报告。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1751.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1751.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1751.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1751.pdf#page=6) 核读章节：Challenges in Compact Models · Core Framework · KD initialization with TGOs · Distillation-guided RL with SGOs · Experimental setup 核读 KD 与 RL 两阶段、两个 KL 方向和 Eq. 4 selective reward；不把 teacher guidance 描述为推理时调用 teacher。 ### Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.950/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e112/) #### Idea CaRR 将 deep-search question 拆为涉及 hidden entities 的 atomic rubrics，要求最终解释明确识别实体、有已访问网页 citation 支持，并组成连接到 answer 的 evidence chain。C-GRPO 将这一 rubric score 用于区分答对的 trajectories，鼓励有证据的完整解题。 #### Research Problem Binary outcome reward 可能奖励跳过中间线索、猜对答案或编造解释的 shortcut，无法识别 reasoning comprehensiveness 和 factual grounding。论文研究如何奖励不仅答案正确、而且关键事实得到支持并相互连接的 search process，同时保持 final correctness 为主要目标。 #### Insight 单独覆盖实体或引用网页仍可被利用：agent 可能找到真实但与最终答案无关的事实。Entity–rubric graph 的 connectivity 把局部支持与目标答案连接起来；但检查基于最终 response、已收集 web content 与 LLM judge，并不是对整个 internal reasoning 逐步形式验证。 #### Method 1. 训练前用 LLM 从 synthetic multi-hop question 提取 hidden entities 和 atomic factual rubrics，固定这些 checkpoints；最终 answer entity 记为 E0，其他实体可由 agent 在解题中发现。 2. 从 final response 识别每个 entity 的显式名称，仅保留实体全部被识别的 rubrics；抽取至多 20 个 cited URLs，收集轨迹中对应 snippets/open/find 内容，由 judge 判断 rubric support。 3. 建立 identified-entity 与 supported-rubric 的 bipartite graph，从 predicted answer entity 做 BFS；可达且得到 citation 支持的 rubric 数占总 rubric 数的比例构成 CaRR，过滤与答案脱节的事实。 4. C-GRPO 仅对 outcome 正确的轨迹混入 group-max-normalized rubric reward，错误、格式不合规或超预算轨迹 reward 为 0；采用 multi-turn GRPO 并 mask observed web tokens。识别实体无需与构题时的 gold entity 逐字匹配。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.950.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.950.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.950.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.950.pdf#page=5) 核读章节：Citation-Aware Rubric Rewards · Rubric Initialization · Reward Computation · C-GRPO 核读三步 rubric 检查、BFS connectivity 与 outcome-gated mixing；错误轨迹不会仅因满足部分 rubrics 获得正 reward。 ### Cognitive Scaffold: From Fluid Context to Crystallized Memory for Long-Horizon DeepResearch Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1170/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e140/) #### Idea Cognitive Scaffold 将 long-horizon DeepResearch 的状态分为 Fluid Working Context 与 persistent Knowledge Graph：context 接近阈值时压缩成 Event Snapshot，保留轻量 Memory Note 继续推理，需要旧证据时再通过 thought-driven retrieval 回读。重点是保存实体、数值与关系，而非无限累加历史。 #### Research Problem 长轨迹的 raw observations 会挤占 reasoning context，普通摘要又容易丢失细粒度事实并传播 compression hallucination。论文研究如何同时控制 active context、保留可回溯的事实与结构，并让 agent 在后续推理出现缺口时主动找回相关 memory。 #### Insight 压缩与检索应共同设计：graph 提供定位和关系扩展，event node 中保留的 snapshot 提供事实细节。作者称其为高 fidelity memory，但训练过滤主要依赖格式、embedding similarity 和 compression ratio，因此不能把 atomic preservation 的设计目标解释为对每个数字和实体都有严格验证保证。 #### Method 1. 达到随 folding 次数逐步增长的 token threshold 时触发 crystallization；将溢出历史转成 Event Snapshot，清理工作区后重新拼接固定 prompt、原 query、Memory Note 和 recent history。该 trigger 实际基于 token count，而不是直接估计 information density。 2. 采用 Generate–Evaluate–Distill：teacher 生成 snapshots，以 XML format、原文/摘要 embedding cosine similarity 和 compression ratio 的加权分数筛选，再对 compressor 做 LoRA fine-tuning；另以相同目标搜索 compression prompt。 3. 通过 Graphiti 从 snapshot 提取 entities 和 relations，写入 Knowledge Graph，并在 central event node 保存原 snapshot，兼顾可遍历结构与可读内容。 4. 将当前 reasoning 转成 introspective query，Entity Path 用 semantic retrieval 加 BM25，Relation Path 扩展相关边并按 graph distance rerank；将子图作为 observation 加回 context，形成 consolidation–retrieval 循环。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1170.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1170.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1170.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1170.pdf#page=6) 核读章节：Structure Crystallization · High-Fidelity Memory Compression via RFT · Introspective Retrieval via Thought-Driven Navigation 核读实际 threshold、RFT score 与 dual-path retrieval；区分作者的 fidelity 目标与 embedding-based proxy，不把 token trigger 写成真实信息密度检测。 ### D2Plan: Dual-Agent Dynamic Global Planning for Complex Retrieval-Augmented Reasoning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.216/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e20/) #### Idea D2Plan 用 Reasoner 维护 explicit global plan，用 Purifier 判断 retrieval relevance 并提取信息；每解决一项依赖就细化后续 sub-question，连续检索失败则重写剩余计划。通过 SFT cold start 和 plan-oriented RL，让 search chain 与 evidence filtering 共同服务多跳问答。 #### Research Problem Search-augmented LLM 可能生成偏离目标的 query、漏掉必要 hop，也可能被无关检索片段 hijack reasoning；只奖励最后答对难以分别纠正 planning 与 evidence interpretation。论文研究如何显式维护跨步依赖，并训练适时、有效的 plan adaptation。 #### Insight Global plan 提供跨步目标锚点，Purifier 则隔离 noisy observations；成功后的 refinement 与失败后的 revision 是不同操作，需要不同监督。论文的 initial-plan reward 只匹配 sub-question 数量与 annotated hop count，不能被解释为对计划语义正确性的完整验证。 #### Method 1. Reasoner 将 multi-hop question 分为有序 sub-questions，以 #A_j 表示对前序答案的依赖；Purifier 对 Top-5 retrieved passages 判断相关性，有关时抽取关键证据，无关时给简短摘要和 relevance feedback。 2. 每个 sub-question 最多尝试 K 次 retrieval；成功后填充 placeholders，使下一问题具体且 self-contained；达到失败阈值后修订包含当前问题在内的剩余 plan，寻找替代路径。 3. Teacher 分角色合成 trajectories，筛选最终 exact-match 且至少检索一次的样本；分别训练 Reasoner 的连贯规划轨迹和 Purifier 的 relevance/condensation input-output pairs。 4. SPlanRL 冻结 Purifier，仅用 GRPO 更新 Reasoner；reward 包含 hop-count-based initial planning、regex-based placeholder refinement、revision timing/后续检索质量与 answer F1，并由 format gate 约束。相关性 reward 依赖 Purifier 判断，不是额外人工 ground truth。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.216.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.216.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.216.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.216.pdf#page=5) 核读章节：Dynamic Global Planning · SFT Cold-Start · SPlanRL · Experimental Setup 核读角色分工、两类 plan adaptation 与 reward proxies；明确 RL 只更新 Reasoner，Purifier 在 SFT 后冻结。 ### DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1586/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e194/) #### Idea DeepFact 把 Deep Research report 的 claim factuality verification 与 benchmark label auditing 一起设计：DeepFact-Eval 搜索、阅读并核查 claim，Audit-then-Score 允许 challenger 提交有证据的 label revision，由 auditor 接受后更新 benchmark，再计算成绩。 #### Research Problem 复杂 research claims 需要跨全文和跨来源推理，citation entailment 或 snippet matching 不足；一次性专家标注也可能出错，导致更强 verifier 被错误 gold label 惩罚。论文研究如何同时提高自动核查能力与 benchmark reliability，并保留可比较的版本化评价。 #### Insight 专家面对具体争议证据时的 auditing 可能比从零独立 labeling 更可靠。关键不是自动接受模型异议，而是保存 rationale、审核 revision、用 hidden micro-golds 监测质量，并冻结发布版本。该设计把 disagreement 变为改进机会，同时承认 auditor 和 challenger 都会犯错。 #### Method 1. 以原 report 中的 sentence 为 claim，保留整篇 context，标为 Supported、Inconclusive 或 Contradictory；通过窄范围 supported claims 与人工确认的 controlled factual perturbations 构造 hidden micro-golds，审计专家标注质量。 2. AtS 中 challenger 发现与当前 label 不符时提交 alternative verdict 和 evidence-backed rationale；auditor 比较新旧证据，仅接受更强的修订，维护 label/rationale provenance，然后针对更新后的版本评分。 3. DeepFact-Eval 根据 claim 与 report context 规划 breadth-oriented queries，检索并总结 documents，再用 targeted follow-up questions 恢复摘要可能遗漏的细节，循环至足够证据后输出 verdict 与 rationale；lite 版本联合核查共享证据的 claims。 4. 发布的 DeepFact-Bench v4 经一次 expert seed 与三轮 auditing 构建，包含 944 claims，并划分 validation/test；版本固定后比较 verifier。Micro-gold accuracy 衡量该受控审计样本上的可靠性，不代表全部自然 claims 已被绝对证明。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1586.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1586.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1586.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1586.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1586.pdf#page=6) 核读章节：Problem Formulation · Micro-Gold Protocol · Audit-then-Score Protocol · Governance and Controlled Evolution · DeepFact-Bench · DeepFact-Eval 核读 claim 粒度、revision acceptance、frozen version 与 verifier workflow；co-evolution 指 benchmark/evidence auditing 流程，不虚构在线 RL 更新。 ### DR-Arena: an Automated Evaluation Framework for Deep Research Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1249/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e148/) #### Idea DR-Arena 让 Examiner 从新网页构建 Information Tree，并同时生成 deep reasoning 与 wide coverage 要求，再根据两个 Deep Research agents 的实际回答调整下一轮任务难度。评估从静态题库评分变为有来源证据、可诊断失败类型的自适应 tournament。 #### Research Problem 静态 research benchmark 容易受到时间错位、数据污染与能力饱和影响，open-ended report 又缺少简单 ground truth。论文研究如何自动构造可追溯 rubrics，并在模型表现接近时继续追问，找到 reasoning depth 或 information coverage 上更清晰的差距。 #### Insight 网页链接结构可为多跳身份推断和跨实体属性聚合提供构题支架；失败属于 depth 还是 width，可以决定下一轮增加哪类压力。Tree depth 是任务构造 proxy，并不保证唯一的最短解题路径；自动 rankings 与人类 leaderboard 的相关性也不能证明每一次 judge verdict 都正确。 #### Method 1. Examiner 从 Google Trends topic 选择子题与高信息量 root webpage，抓取其链接邻居，保存全文、URL、title，并给 hyperlink edges 补充语义关系；按需向深度或宽度扩展。 2. 选取 target node 生成 multi-hop identity 与 sibling-attribute aggregation 问题，避免在 query 中暴露特定文件或网页标题；同步生成 source-grounded Checklist-Depth 与 Checklist-Width。 3. 先检查 factual hard constraints，再比较 presentation、density、helpfulness 等 soft constraints；给出 Much Better、Better 或高/低质量 Tie，并标注 Depth、Width、Both、None failure。 4. Adaptive loop 对高质量 Tie 同时加深加宽，对低质量 Tie 回退 parent，对 marginal win 定向探测弱项；满足 decisive verdict、累计差距或轮次上限后停止。实验以共享的 30 棵 trees、Swiss pairing 与 BT/Elo 组织 6 个 agents 的排名比较。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1249.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1249.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1249.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1249.pdf#page=5) 核读章节：Dynamic Information Tree Construction · Automated Task Generation · Adaptive Evolvement Loop · Experimental Setup 核读 live-data 构题、rubric judging、状态转移与 tournament；动态框架与实验中共享预构造 trees 的协议分别说明。 ### End-to-End Optimization of LLM-Driven Multi-Agent Search Systems via Heterogeneous-Group-Based Reinforcement Learning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1399/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e170/) #### Idea MHGPO 用 heterogeneous rollout groups 对 Multi-Agent Search System 做 end-to-end RL：把最终回答 reward 沿依赖路径向上游传播，再跨不同中间输入比较相对回报，共同更新各角色共享的 LLM backbone。论文重点在 group construction 与 rollout sampling，而非新增检索器。 #### Research Problem Rewriter、Reranker、Answerer 的局部选择会影响下游全局结果；独立优化每个角色可能忽略协同，大 critic 的 MARL 又增加内存与训练负担。论文研究能否用 critic-free group-relative learning 捕捉跨 agent 依赖，以及怎样在比较同质性、样本复用与计算成本之间取舍。 #### Insight 同一 root question 的不同 upstream decisions 会生成不同 downstream prompts；若只在完全相同局部输入中比较，可能看不到全局合作效果。Heterogeneous comparison 能扩大协同信号，但也引入输入差异造成的 variance，因此 fork 位置本身成为训练设计变量。 #### Method 1. 搭建 Rewriter→search→Reranker→Answerer pipeline，所有 agents 由同一 backbone 通过不同 role prompts 实例化；多次 system rollout 收集各角色 input-output pairs 及 group ID。 2. 以最终 answer F1 作为 shared terminal reward，沿直接 successor 依赖向前取平均传播，加入角色特定的 format penalty，得到每个 agent output 的 reward。 3. 按 group ID 计算 mean/std-normalized advantage，并广播到该 output 的全部 tokens；聚合各角色的 clipped policy loss 与 KL penalty 联合更新共享 backbone，不训练独立 value critic。 4. 比较 Independent Sampling 的同质分组、Fork-on-first 的首角色分支及后续异质输入，以及 Round-robin 的随机 fork point；RR 上游单样本还会与 batch 内同 fork 设置样本分组，以换取较低 rollout cost。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1399.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1399.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1399.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1399.pdf#page=5) 核读章节：Multi-Agent Search System · Multi-Agent Policy Optimization Framework · Rollout Sampling Strategies 核读参数共享、reward backward averaging 与 heterogeneous grouping；reward propagation 是依赖图上的回报聚合，不是对工具或整条执行图作可微反向传播。 ### Enhancing LLM-based Search Agents via Contribution Weighted Group Relative Policy Optimization ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1462/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e179/) #### Idea CW-GRPO 保留 final-answer outcome advantage，用 LLM judge 对每轮 retrieval utility 与 reasoning correctness 的判断重新分配成功轨迹中的学习权重。Process signals 用于 advantage reweighting，而不直接作为独立 reward，试图兼顾细粒度 credit assignment 与 outcome-based training 的稳定性。 #### Research Problem 标准 GRPO 将同一 trajectory advantage 广播给所有 search rounds，难以区分关键搜索和冗余步骤；直接优化 noisy process reward 又可能引入错误监督。论文研究如何让中间判断影响梯度分配，同时保留 final correctness 的主导作用，并避免对失败原因作过强归因。 #### Insight 成功轨迹中的有效证据获取和正确解释更容易与结果对应，失败轨迹却可能只是 corpus 缺失或 retriever 能力不足。因此作者只细分成功轨迹的贡献，失败轨迹保持均匀权重。该设计是保守的信用分配 heuristic，judge agreement 不能证明某一步具有严格 causal contribution。 #### Method 1. 每题采样 group trajectories，以最终 answer EM 计算 group-normalized outcome advantage；每个 search round 由 judge 分别标注是否获得新且相关证据、是否正确解释当前 context。 2. 将两个 binary labels 相乘作为 contribution signal，只有 retrieval utility 和 reasoning correctness 同时满足才记 1；使用人工标注的小样本校准 judge rubrics。 3. 成功轨迹把 contribution 经 temperature-controlled softmax 归一化，失败轨迹则对所有 search rounds 赋均匀权重；再乘 search-round count，使逐轮 advantage 的平均值保持等于原 outcome advantage。 4. Final answer round 直接使用原 outcome advantage，各轮采用 clipped policy objective 更新。Evaluation 包含 Avg@4 EM 与筛选的 hard-case QA，并使用限制 parametric knowledge 的 prompt，因此表中 baseline 分数不应直接与其他论文的默认设置横比。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1462.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1462.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1462.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1462.pdf#page=5) 核读章节：Outcome-Level Advantage · Round-Level Contribution Estimation · Adaptive Weighting Mechanism · Advantage Reallocation and Optimization · Setup 核读成功/失败不对称 weighting 和归一化因子；mean round advantage 保持不等于任意 token-length weighting 下总梯度严格守恒。 ### FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.288/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e25/) #### Idea FS-Researcher 通过 persistent file-system workspace 协调 Context Builder 与 Report Writer：前者搜集网页、归档 sources 并建设结构化知识库，后者只基于知识库逐节写作。跨 session 的进度和证据保存在文件中，使 research effort 能超过单次 context window。 #### Research Problem Deep Research 同时消耗 evidence collection 与 long-form writing 的 context budget；单 agent 或只做历史摘要容易过早写作、遗漏事实，难以继续增加有效 computation。论文研究如何把知识积累和报告生成分离，并让多轮工作保有稳定、可检查的进度与事实来源。 #### Insight 外部存储的价值不只是容纳更多文本，还在于显式维护 task state、evidence provenance 和待补缺口。独立的 Context Builder 可以持续改善知识库，而 section-wise writing 则让每节重新基于证据规划。其可扩展性是总 workspace 跨 session 扩展，并不是模型获得无限 context window。 #### Method 1. 为两种 ReAct agents 提供 ls、grep、分页 read_file、按行编辑以及 web search/read tools；workspace 包含 deliverables、动态 todos、人工制定的 checklists 和 session logs。每轮先检查状态，再执行与复核。 2. Context Builder 动态维护 index.md、层级 knowledge_base 和 raw sources；notes 的事实引用对应 source files。每次 session 结束根据 checklist 找缺口或冲突并重新标记待办，直到完成或用尽 session budget。 3. Report Writer 接手后移除 web browsing tools，以知识库为唯一事实来源；先建立 outline，之后每轮只写一节，通过 section review 才标完成，最后进行全篇 review，并可重新打开有问题的章节。 4. 通过 DeepResearch Bench、DeepConsult 评价报告，另对 persistent workspace、dual-agent 和 section-wise writing 做 ablation；scaling 分析比较 3/5/10 个 Context Builder rounds。Writer 阶段未设预算上限，因此比较成本时需保留这一协议差异。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.288.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.288.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.288.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.288.pdf#page=5) · [PDF p. 7](https://aclanthology.org/2026.acl-long.288.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.288.pdf#page=8) 核读章节：FS-Researcher Architecture · Context Builder · Report Writer · Scaling Analysis · Module Ablations 核读文件工具、状态管理、writer 禁用 browsing 与逐节复核；scaling 结论来自特定轮次实验，不解释为无限计算持续增益。 ### KARL: Reinforcement Learning for LLM Agents on Multi-Turn Knowledge-Intensive Agentic Tasks ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2196/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a83/) #### Idea KARL 将 structured knowledge acquisition 与 multi-turn tool-use RL 联合设计：agent 在完成 KG 或 Database task 时自主决定何时获取 entity descriptions、schema 与 API knowledge，并通过 task progress、format validity 和 exploration shaping 学习利用这些信息。 #### Research Problem 只把额外知识放进 initial prompt，并不能保证 agent 会正确检索、解释和使用；长工具链中的 sparse reward 又使知识探索价值难以学习。论文研究如何建立可扩展的 interactive knowledge environment，并把 acquisition 与 utilization 一起纳入 policy optimization。 #### Insight Knowledge augmentation 的收益取决于 policy 是否学会在合适状态获取和使用信息，知识量增加本身不必然带来更好表现。作者把 novelty 作为 exploration proxy，但 curiosity 不是脱离 task outcome 的独立目标；正文 reward 实际用 exploration factor 调制 task/format return。 #### Method 1. 对 KG tasks 从 query-related entities 构造 Wikipedia-derived descriptions、types 和 relations；对 DB tasks 提取 table names、schemas 与 API specifications，并用 entity recognition 或 table/function alignment 过滤相关知识。 2. 构建 containerized、session-based tool environments，统一 multi-turn function-call interfaces；rollout generation 与 policy optimization 分配到独立资源组，由 controller 异步协调，降低长环境交互造成的训练等待。 3. Agent 在 reasoning/action loop 中自主访问知识源，扩展可用 knowledge buffer；采用 GRPO 优化，结合 entropy 与 KL regularization，而不是始终静态注入整份知识。 4. Trajectory reward 汇总 final goal、intermediate subgoals 和 invalid-action penalties，截断后乘以取值 0–1 的 exploration factor；正文将该因子写作 knowledge novelty 的缩放函数。主要实验按 KG/DB 分别训练，并补充跨环境 joint-training 与知识/奖励 ablations。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2196.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2196.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2196.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2196.pdf#page=5) · [PDF p. 9](https://aclanthology.org/2026.acl-long.2196.pdf#page=9) 核读章节：Online End-to-End Asynchronous RL Framework · Knowledge-Augmented RL · Curiosity Reward · Experiment Settings · Reward Shaping Strategy 核读系统与 Eq. 5–8；curiosity factor 的正文定义较抽象，本笔记不自行补造 novelty estimator 或加法式 intrinsic reward。 ### Mitigating Context Interference for Reliable and Efficient Search Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.160/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e16/) #### Idea 论文先通过 context ablations 定位 search agent 的干扰来源，再训练一个 query-conditioned Context Refiner，从每轮最新检索文档中提取相关信息。Context-Refined Reinforcement Learning（CRRL）把该 refiner 接入 agent rollout，让 policy 在更精简的证据和保留的 reasoning history 上继续查询与作答。 #### Research Problem Retriever 为提高 recall 返回多个 documents，却同时引入无关内容；即使正确答案已经出现，agent 仍可能被噪声误导或继续冗余搜索。论文研究历史 queries、历史 documents 和最新 observation 各自的影响，以及一般 summarization 是否足以解决干扰，或需要面向当前 search query 的证据抽取。 #### Insight 去掉旧 documents 和 queries 只能带来有限改善，而删除历史 thinking 会损失规划状态、增加重复检索；实验据此把最新 retrieved documents 作为主要 refinement 目标。Refiner 的任务是保留当前 query 所需的证据，而非生成全局摘要。该结论来自特定 QA、retriever 与模型设置，entailment filtering 也只能降低而非彻底消除 teacher 引入新知识的风险。 #### Method 1. Interference diagnosis：在 IRCoT agent 中分别屏蔽旧 documents、旧 queries 与 thinking history，比较 Exact Match、Average Retrieval Times 及已检索到答案却未答对的差距，分析不同 context 组成的作用。 2. Distillation data：让 GPT-4 在每次检索后只抽取与当前 search query 相关的信息；仅保留最终正确 trajectories 中的 extraction pairs，并用 entailment model 过滤不被原 documents 支持的内容。 3. Refiner training：以 documents、query 为输入，teacher extraction 为目标，对 Qwen2.5 3B/7B 做 SFT；推理时先 refine latest documents，再把精简 observation 提供给 search policy。 4. CRRL：在 GRPO rollouts 中保留历史 thinking、最近 search query 与 refined observation，减少旧检索冗余；policy loss 只覆盖模型生成的 reasoning/query tokens，对 retrieved tokens 做 loss masking，在单跳和多跳 QA 上比较准确率与检索开销。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.160.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.160.pdf#page=3) · [PDF p. 5](https://aclanthology.org/2026.acl-long.160.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.160.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.160.pdf#page=7) 核读章节：Context Interference in Search Agent · Context Refiner for Search Agent · Context Refinement for Search Agent Training · Context-Refined Reinforcement Learning 依据 context ablation、teacher extraction、entailment filtering 和 CRRL rollout 描述整理；未声称 refiner 对任意 query 都能保证信息无损或完全消除 context interference。 ### OCR-Memory: Optical Context Retrieval for Long-Horizon Agent Memory ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.474/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e51/) #### Idea OCR-Memory 将历史 trajectories 渲染为带 Set-of-Mark identifiers 的图片，使用专门的 optical retrieval model 选择相关 segments，再按 identifiers 从保存的原始日志中取回准确文本。视觉表示用于减少检索时的 context 开销，主 agent 只接收选中的证据，而不必读取全部历史或依赖模型重新生成记忆内容。 #### Research Problem 长期 agent memory 需要保留 tool outputs、执行细节和失败经过，但 raw text 占用大量 context，summary 又会丢失未来可能需要的信息。直接让视觉模型从压缩图片转写也可能 hallucinate。论文研究如何利用视觉表示的密度，同时把 evidence selection 与 evidence reproduction 分离，控制错误与检索成本。 #### Insight 记忆保真主要来自 deterministic Fetch，而不是 OCR 模型对所有字符都完美识别：模型只输出 segment pointers，原文由外部日志提供。降低旧图片分辨率可节省 visual tokens，命中后再从原日志重绘高分辨率版本，形成可逆的 detail recovery。但这不消除外部存储和随历史规模增长的检索计算，也不保证永远不会漏检。 #### Method 1. Memory encoding：将 trajectory chunks 切为文本 segments，渲染红框和数字 IDs，同时保存 verbatim text、episode/time metadata；近期交互保留高分辨率，旧记录使用较低分辨率。 2. Locate-and-Transcribe：DeepSeek-OCR 对每张 memory image 输出对应 segments 的 binary relevance vector，限制 label tokens 为 0/1；实际证据由索引映射到日志取回，不由模型自由转写。 3. Recall-oriented selection：从 0/1 logits 计算 relevance scores，联合低阈值与每张图的 Top-K fallback 选择 segments；低分辨率记录命中后从原文重新渲染，并在当前 episode 的 visual cache 保留。 4. Training 与评估：将 HotpotQA supporting paragraphs 转为视觉 relevance labels，冻结 image encoder、训练 language decoder，以偏重 positive recall 的 weighted BCE 优化；在 Mind2Web 和 AppWorld 中与 text retrieval、summary/workflow memories 比较。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.474.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.474.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.474.pdf#page=5) · [PDF p. 7](https://aclanthology.org/2026.acl-long.474.pdf#page=7) 核读章节：OCR-Memory · Locate-and-Transcribe · Multi-Resolution Trajectories · Training Strategy · Experimental Setup 已核读原始日志、pointer selection、Top-K fallback 和实际训练配置；未把 optical encoding 描述成无需保存原文或常数成本的无限记忆。 ### PolitNuggets: Benchmarking Agentic Discovery of Long-Tail Political Facts ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2085/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a80/) #### Idea PolitNuggets 让 agent 从开放 web 重建政治人物的履历与 long-tail facts，并用 FactNet 区分 event discovery、细粒度 attribute accuracy 和搜索效率。系统以 Supervisor–Searcher 分工持续收集证据，Archive 保存带来源的原始片段，最后由 Coder 转成结构化 biography，避免只靠一份压缩报告填写细节。 #### Research Problem 现有检索评测常只要求找到单一答案，难衡量跨来源、跨语言、跨时间的信息发现与整合。真实 biography 中很多事实不在 Wikipedia，固定 gold set 还会将正确的新发现误判为 false positive。论文研究如何评价 agent 是否找到了新事件、是否读准日期与职务，以及主动搜索相对静态长 context 带来什么收益。 #### Insight 发现一个 event 与准确填充它的月份、正式职务等 attributes 是两种能力，必须分层评估。Evidence-conditional judging 允许将有来源的新发现纳入 ground truth，但这个集合仍由所运行系统的 pooled evidence 建立，不能代表未知事实的完整全集。动态扩展标签和跨语言 judge 也需要审核，F1 应在共同最终 snapshot 上解释。 #### Method 1. 任务与条件：构建包含 200 位 Non-US cabinet politicians 和 200 位 US legislators/senators 的实体集；With-Wiki 要求验证并补全已有条目，Without-Wiki 从人物姓名出发重建时间线。 2. Agent architecture：Supervisor 维护 search summary 和 to-do list，Searcher 执行 search/browse 并保存 source-linked chunks 到 Archive；Coder 同时读取全局报告与原始证据，输出规定 JSON schema。 3. FactNet ground truth：合并多次 runs 的候选 facts，由 Judge LRM 检查其是否被该 run 的 archived evidence 支持；过滤 Wikipedia 已覆盖的事实，并对新发现动态验证，最终让各系统对共同 snapshot 评分。 4. Evaluation：Event-Level F1 检查 role、organization 与 year，Attribute-Level F1 进一步检查月份和 official title 等类型相关字段；同时统计 search steps/tokens，并将 agentic outputs 与读取相同固定 Archive 或 raw webpages 的 LRM baselines 比较。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2085.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2085.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2085.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2085.pdf#page=5) 核读章节：Evaluation Levels · Experiment design and conditions · Agentic System · Evaluation Protocol · Final evaluation 依据正文 sampling、Archive、dynamic CGT 与分层 metrics 整理。讨论的是论文的 benchmark 方法；没有对论文中人物履历作独立事实核验，也没有将 pooled CGT 视为穷尽的历史记录。 ### Reinforcing Agentic Search Via Reward Density Optimization ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.467/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e48/) #### Idea InfoFlow 将 Agentic Search 的训练效率归结为 Reward Density：每单位 exploration cost 能产生多少有效 reward。它用 Researcher–Refiner 分工压缩检索上下文，以 Sub-goal Scaffolding 给部分正确轨迹提供反馈，并在训练中用 Pathfinding Hints 帮助策略跨过探索瓶颈，随后通过 GRPO 学习可在推理时独立搜索的 Researcher。 #### Research Problem Deep Search QA 同时存在长轨迹成本与 sparse outcome reward：早期策略经常整组 rollout 都失败，GRPO 得不到有区分度的 advantage；直接堆入网页片段又占用 context，增加无效探索。研究问题是如何在相同探索预算下提高有效学习信号，并避免训练过程长期依赖完整 teacher trajectory 或推理阶段的答案提示。 #### Insight 作者把低 reward density 拆成三个可干预因素：检索内容过长、部分进展不可见、关键 search query 难以发现。对应地，压缩 observation、奖励必要中间实体、在卡住时注入查询能够相互补充。这里的 reward density 是框架设计和分析指标，实际训练仍采用带 shaped reward 的 GRPO，并非直接对期望 reward 与 cost 的比值求梯度。 #### Method 1. 对 InfoSeek 的 18,000 个训练问题构建 weighted sub-goals 与关键 Pathfinding Hints；前者选取解题所需的实体节点并赋归一化权重，后者为困难 reasoning edge 提供可执行 search query。两者来自离线 LLM annotation，构成额外 process supervision。 2. Researcher 生成 reasoning 与可并行的 queries，Refiner 将每条 query 的原始检索结果压缩成 summary，再反馈给 Researcher。先通过 rejection sampling 保留答对且经 verifier 检查的约 3,450 条轨迹，分别对两种角色的 action 与 summary 做 token-level fine-tuning。 3. RL 阶段用最终正确性结合 reasoning trace 对 sub-goal 实体的 Exact Match 形成 reward；当 rollout 到第 5 轮仍未结束，保留原 reasoning、以离线 hint queries 替换该轮 search action，再继续探索。Hints 仅在训练中使用，推理阶段移除。 4. RFT 后通过 group-normalized advantage 与 KL regularization 更新 Researcher。奖励公式存在需注意的文本不一致：正文 Eq. 5 写 max(..., 1)，但 Appendix E.1 明确描述 reward ceiling 为 1；本笔记保留这一差异，不将有争议的算式当作可直接复现的最终实现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.467.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.467.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.467.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.467.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.467.pdf#page=6) · [PDF p. 17](https://aclanthology.org/2026.acl-long.467.pdf#page=17) 核读章节：Data Preparation with Enriched Process Information · Method §3.1–3.5 · Appendix E.1 核读 dual-agent、RFT、sub-goal reward、hint injection 与 GRPO 的正文及 reward 分析附录；明确区分框架指标与实际优化目标，并保留正文 max 与附录 ceiling 的不一致。 ### Rethinking Reasoning-Intensive Retrieval: Evaluating and Advancing Retrievers in Agentic Search Systems ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1705/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e201/) #### Idea 论文同时改造 reasoning-intensive retrieval 的 benchmark 与 training data：BRIGHT-PRO 为 query 标注带权 reasoning aspects 和互补证据，并把 retriever 放进相同 agentic search loop 评估；RTriever-Synth 则按 answer aspects 合成多个 positives 与匹配的 hard negatives，用于训练 RTriever-4B。 #### Research Problem 少量 gold passages 和单次 relevance ranking 难以衡量复杂问题所需的 evidence coverage：retriever 可能返回很多同一方面的材料，却漏掉关键推理前提。单正样本合成数据也倾向于优化某一篇 passage 的匹配。论文研究如何让评估和训练共同关注 complementary evidence，以及这种差异如何影响 agent 的搜索轮数与最终回答。 #### Insight Agentic search 中，单篇文档的 relevance 需要放到累计 evidence set 中判断，重复支持已有 aspect 的价值可能低于补齐缺失前提。因此 static ranking 与 downstream completeness 应并列检查。RTriever 的互补性主要由数据构造注入：训练仍随机采样一个 positive 和 negative 做 InfoNCE，并不是显式优化整个 portfolio 的 set-level objective。 #### Method 1. Benchmark construction：基于 BRIGHT 的 StackExchange subset，由领域 annotators 拆解 reasoning aspects、赋 importance weights，重审旧 positives、补充新证据并合并冗余；第二位 annotator 再检查 aspect 与 passage 对应关系。 2. Evaluation：static setting 用 α-nDCG 和 Weighted Aspect Recall 检查多样性覆盖；agentic setting 固定 prompts、tools 与 budgets，仅替换 retriever，比较固定 1–3 轮和自主停止协议下的 completeness、quality 与 search rounds。 3. Synthetic corpus：将 MS MARCO seeds 扩写为带背景的 queries；analytical queries 先生成 reference answer，再拆为互补 aspects 和 positive blueprints；hard negatives 保留相近主题但显式遗漏所需 aspect，随后统一生成 passages。 4. Retriever training：以 140K bundles 对 Qwen3-Embedding-4B 做 LoRA fine-tuning；每步随机选一个 positive、一个 synthesized hard negative，并加入 in-batch negatives，用 query-document InfoNCE 优化，随后检验静态与 agentic retrieval 表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1705.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1705.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1705.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1705.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1705.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1705.pdf#page=7) 核读章节：BRIGHT-PRO Benchmark · BRIGHT-PRO Evaluation Protocol · RTriever: Learning to Retrieve Complementary Evidence · RTriever Training Details 核读 benchmark annotation、两种 agentic protocols 与真实 training objective；agentic 实验使用固定 175-query subset，回答质量仍由 LLM-as-Judge 评估，不等同于全部 query 的人工终审。 ### SearchGym: Bootstrapping Real-World Search Agents via Cost-Effective and High-Fidelity Environment Simulation ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.848/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e106/) #### Idea SearchGym 生成相互一致的 fictional knowledge graph、documents 和多跳 questions，构建低成本 search simulation environment。先筛选可通过检索发现的 graph edges，再由 verified paths 合成任务；SearchGym-RL 用由易到难的 curriculum 训练 Search/Access 行为，并测试这些技能能否迁移到真实 Wikipedia 和 live web。 #### Research Problem 直接通过商业搜索 APIs 做大规模 RL 成本高，而静态 corpus 与已有 QA labels 可能不一致，使正确 reasoning 得不到 reward，甚至奖励偶然匹配的 hallucination。论文研究能否从同一结构化事实源同时生成任务和可检索证据，减少训练信号噪声，同时避免 agent 仅依赖预训练记忆作答。 #### Insight 模拟器的关键是 task、evidence 与 retrievability 的对齐，而不只是生成看起来像网页的文本。虚构实体降低了 parametric recall 的捷径，verified paths 则让失败更能反映 policy 的搜索与组合能力。但检索筛选只说明目标文档可被一定查询找到，不能保证任意 query 都成功；训练的 token-level F1 也仍是答案正确性的 proxy。 #### Method 1. Environment synthesis：按 entity/relation schema 构建可控 KG，为每个虚构实体生成包含属性与局部邻域的 Wikipedia-style document，并配唯一 URL，形成统一 searchable corpus。 2. Edge verification：为每条 edge 生成 15 个 queries，要求目标 document 至少被其中 5 个 query 检索到才保留；从 verified subgraph 采样 linear、parallel 和 nested paths，分别构建 Simple、Parallel 与 Combo QA。 3. RL interface：Search 返回 snippets 和 URLs，Access 读取全文；agent 在多轮 thought/action 后给出答案，以 terminal token-F1 reward 计算 group-relative advantages，用带 clipping 与 KL 的 GRPO 优化。 4. Curriculum 与迁移：先训练 1–6 hops 的 Simple QA，再引入 6–12 hops 及 Parallel/Combo tasks；训练只用本地 synthetic index，评估分别接入 held-out SearchGymBench、Wikipedia snapshot 和 live search APIs，检查 sim-to-real transfer。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.848.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.848.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.848.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.848.pdf#page=5) 核读章节：SearchGym Simulation Environment · SearchGym-RL Training · Experimental Setups 已核读 KG/document construction、retrievability gate、reward 与 curriculum。Training F1 和 evaluation LLM-as-Judge 不同，笔记保留这一层次，不将合成环境表述为真实世界知识库。 ### Trust Within? Seek Beyond? Knowledge Boundary Aware Policy Optimization for Agentic Search ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1276/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e153/) #### Idea KbPO 用 parametric knowledge 与 retrieval quality 的组合决定 Agentic Search 应如何行动：两者可靠时整合，只有检索可靠时依赖 external evidence，只有内部知识可靠时使用 memory，两者都不足时 refusal。训练不仅奖励最后答对，也奖励 summary 中体现的策略与这一知识状态一致，使 Search、Answer、Refuse 成为可学习的行为选择。 #### Research Problem 仅以 final answer correctness 训练 search agent，可能奖励猜对、无必要搜索或盲信低质量 retrieval 等行为，也无法清楚区分该搜索还是该拒答。固定 refusal label 又容易和模型真实能力不一致。论文研究如何构建与 parametric certainty、retrieval quality 对齐的 supervision，让策略学习何时信任内部知识、何时借助外部证据。 #### Insight 同样的错误答案可能来自知识缺口或检索失败，不能用一个统一的拒答规则处理。作者将两类可靠性分开建模，再用四种 knowledge quadrant 规定目标行为。需要注意，parametric certainty 是训练样本上利用 ground truth 多次 probing 得到的 proxy，semantic stability 也只是回答一致性；它们不等于部署时可直接观测的真实知识边界。 #### Method 1. 从包含 query、answer、supporting facts 的 QA 种子出发，交替执行 Fact Injection 与 Information Fuzzing：添加需要 multi-hop inference 的事实，或模糊明确约束以要求进一步搜索，再检查 semantic validity、difficulty 与 answer uniqueness。 2. 冻结模型并在无 retrieval 条件下对每个 query 多次采样，以相对 ground truth 的 match rate 计算 parametric certainty μ，以回答 embedding 的 pairwise cosine similarity 计算 semantic stability σ；先按 μ 分 known/unknown，再优先选择 known 中高 σ、unknown 中低 σ 的样本。 3. Policy 用 <search>、<info>、<summary>、<answer> 表达 action span。以 retrieval quality 和 μ 的阈值划分四种状态，automated judge 从 summary 判断实际采用的策略；一致时给正 alignment reward，不一致时惩罚，并与格式、检索质量和 terminal answer reward 结合。 4. Process reward 放在对应 action span 的结束 token，整条轨迹累计 return 后计算 group-normalized advantage，以 GRPO 和 KL regularization 更新。实验采用 Wikipedia dense retrieval，并限制最多 2 次 search iteration；主表 Failure Rate 综合 F1 与 Correct Refusal Rate，不能直接解释为纯 QA accuracy。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1276.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1276.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1276.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1276.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1276.pdf#page=6) 核读章节：Method §3.1–3.3 · Experimental Setup · Table 1 核读 data synthesis、ground-truth-based probing、quadrant reward 与实际 GRPO 目标；ground truth probing 属于训练 supervision，主表指标含正确 refusal，并非单一答案准确率。 ### WebAggregator: Enhancing Compositional Reasoning Capabilities of Deep Research Agent Foundation Models ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1124/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e132/) #### Idea WebAggregator 通过真实 web exploration 收集分散信息，再按 compositional reasoning guidelines 将它们组合成需要过滤、计算、集合操作或时间分析的 QA。经过多轮验证和 rejection sampling 的 agent trajectories 用于 SFT，同时保留 WebAggregatorQA testbed，检验 deep-research agent 能否把找来的材料真正组合成答案。 #### Research Problem 许多 web-agent 数据将难度集中在找到某个实体或网页，成功检索后答案可以直接复制，因而不能充分训练多源 evidence aggregation。论文研究如何规模化生成同时需要 retrieval 与 compositional reasoning 的任务，并观察训练能否减少冗余调用、改善信息使用，而不只是提高搜索覆盖。 #### Insight 任务难度应体现在 evidence 到 conclusion 的转换中，而不只体现在 evidence 藏得多深。以 logical operations 作为开放式生成指导，可以在真实资料上产生跨来源组合问题。论文关于 reasoning bottleneck 的结论来自这些任务及诊断实验，不能推导为 retrieval 已不重要；QA verification 也包含 agent 检查，不应被描述为全部由形式化 solver 证明正确。 #### Method 1. Anchor 与 exploration：从多领域 queries 获取 anchor URLs，Proactive Explorer 通过 search、visit、screenshots、files 和动态页面操作收集相互关联的信息，并要求一定的访问范围。 2. Composition：Compositional Logic Proposer 以 Element、Set、Scientific Analysis 和 Temporal Reasoning 四类、12 个细分操作为 guidance，按收集到的数据实例化问题、答案、solution 与引用 URLs，而非套固定题目模板。 3. Quality control：先 checklist self-refinement，再由另一 agent 尝试解题并核对 sources；平衡 domains 和稀缺操作。随后采样 GPT-4.1/SmolAgents trajectories，过滤错误答案和 tool-format errors，同时保留可恢复的网页异常。 4. SFT 与评测：使用最终 6,184 条 trajectories 训练多个 Qwen backbones，mask question 和 observations，仅监督 agent actions 与答案；在 GAIA-text、WebWalkerQA、XBench 和预留 WebAggregatorQA 测试任务上比较表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1124.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1124.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1124.pdf#page=4) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1124.pdf#page=6) 核读章节：Anchor URL Collection · WebAggregator: From Exploration to Composition · Quality Control · Trajectory Sampling · Experimental Setups 依据 web synthesis、QA alignment、rejection sampling 与 SFT masking 协议整理；没有把自动 agent review 等同于 deterministic verification。 ## 06 · 规划 / 记忆 / 工作流 33 篇 · CVPR 0 · ACL 33 ### ACE-Router: Generalizing History-Aware Routing from MCP Tools to the Agent Web ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.281/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a10/) #### Idea ACE-Router 训练能够读取当前 observation 与完整交互历史的候选选择器，以独立 routing/execution 接口接入 MCP agents。其数据管线用工具关系图与受控 mutation 合成互相相近、存在依赖的候选，再由多角色模拟生成 history-aware 路由监督。 #### Research Problem 将全部 tool schemas 注入主 agent 随候选增多而饱和；embedding retrieval 只比较 query 与描述，难区分同功能工具在任务不同阶段是否适用。现有孤立 query–tool pairs 又缺少前置调用结果和多步依赖，无法训练动态状态下的精确选择。 #### Insight 路由的语义单位应是“此刻任务需要的下一种能力”，而不是原始用户问题的静态相似度。让训练候选包含近似功能和依赖关系，并从连续轨迹中抽出状态–候选配对，可迫使 router 利用历史；同一选择问题可从工具描述迁移到 agent profiles。 #### Method 1. 将 candidate description/schema 编码，按 cosine threshold 建立相似图；通过 function enhancement、parameter mutation、workflow chaining 等算子产生相关新候选，并保留 mutation edges。 2. 从图的 seed nodes 作邻域遍历采样关联候选子集，Planner 设计任务与计划，User、Assistant、Tool roles 模拟多轮对话和执行结果，整个合成不依赖真实 API。 3. 抽取每个 candidate invocation 作为标签， preceding interactions 为 history、最近 observation 为当前 query，形成 router 训练样本；在 Qwen3-8B 上以 LoRA 微调。 4. Light Routing Agent 只暴露 router invocation 与 execution 两个接口，前者根据历史从给定候选空间选择能力，后者执行并把结果接回任务，减少主 agent 的 schema 上下文负担。 5. MCP-Universe/MCP-Mark 固定下游 Gemini reasoner 比较 routers，并在独立 agent-bank 合成测试及大候选/噪声设置检验迁移；工具选择训练不额外用 agent-routing 数据微调。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.281.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.281.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.281.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.281.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.281.pdf#page=6) 核读章节：Candidate Graph-based Extension With Self-Evolutionary Mutation · History-Aware Supervision for Router Training · Light Routing Agent · Benchmark and Evaluation 核读图构造、环境无关数据合成、LoRA 与评估设置；agent routing 迁移基于作者构造的候选库测试，不直接等同开放互联网所有 agents 的实测编排。 ### Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.981/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e116/) #### Idea AgeMem把长期记忆LTM与短期上下文STM的管理统一为agent policy可选择的tool actions，让模型在完成任务时同时学习何时保存、检索、更新、压缩与删除信息。核心变化是将通常由外部heuristics或独立memory manager负责的操作纳入同一条强化学习轨迹，通过跨阶段持续的LTM与会重置的STM训练延迟使用记忆的能力。 #### Research Problem 已有memory agents常把长期知识存储与当前上下文压缩分开设计，局部规则难以共同优化任务成功、信息保留和context budget。单纯在当前对话内训练还可能让模型直接利用残余上下文回答，无法验证其是否真正学会将早期信息写入记忆并在之后取回；稀疏的最终任务反馈也难以直接训练此前大量记忆操作。 #### Insight 保存哪些信息取决于未来任务，而检索和压缩是否有价值又必须由后续完成情况检验。作者通过先接收信息、再清除短期上下文并加入干扰、最后揭示目标任务的课程结构，制造必须依赖持久记忆的信息断点；再把最终轨迹回报传播到前面各步，使memory tools与任务动作接受同一优化信号。这里的step-wise指逐步应用policy objective，并不代表每个操作获得独立的因果credit。 #### Method 1. 将状态定义为当前context、长期memory和task specification；动作空间同时容纳文本生成及六类memory tools。ADD、UPDATE、DELETE操作持久条目；RETRIEVE按语义相关性取top-k；SUMMARY压缩指定文本；FILTER按给定条件与相似度阈值删除消息。 2. 按三个阶段生成完整rollout：先在普通交流中暴露任务相关信息并建立LTM；随后重置STM、保留LTM并注入无关交流以训练压缩与过滤；最后提出正式query，要求检索早期信息、管理上下文并完成任务。 3. 对同一任务采样多条轨迹，将终局回报在组内标准化，再把同一个terminal advantage广播至该轨迹全部step；利用old/new policy概率比及reference-policy KL项更新模型，联合优化跨阶段的记忆和任务行为。 4. 回报组合LLM judge的答案质量、压缩与信息保留、可复用存储质量、维护操作及检索相关性，并处罚context overflow和轮数超限。训练只用HotpotQA，再直接测试ALFWorld、SciWorld、PDDL、BabyAI及HotpotQA，分别采用任务成功、规划进度或答案评价。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.981.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.981.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.981.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.981.pdf#page=6) 核读章节：3.1 Problem Formulation · 3.2 Memory Management via Tool Interface · 3.3 Three-Stage Progressive RL Strategy · 3.4 Step-wise GRPO for Unified Management · 3.5 Reward Function Design · 4.1 Experimental Setup 依据任务形式化、完整memory接口、课程和训练目标正文；未把step-wise GRPO解释为独立逐步因果奖励，其advantage实际由终局组内归一化后广播。多个memory质量项依赖LLM判断，跨任务泛化为作者实验主张，并非形式保证。 ### Beyond the Context Window: Scaling Agentic RL via End-to-end Optimized Context Compression ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.966/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a44/) #### Idea SUPO 把 context summarization 纳入代理自身的决策与 RL 优化，使同一模型同时学习工具行为和保留任务信息的压缩策略。长 rollout 被分为多个受限上下文片段，最终结果奖励贯穿这些片段，因此训练可以跨越固定 working context window。 #### Research Problem 长时工具任务持续积累历史和 observation，导致指令跟随下降、rollout 成本增大并触碰上下文上限。推理时临时接入摘要虽可继续执行，但摘要未针对终局任务回报训练，可能丢失关键状态；现有 RL infrastructure 又通常假设一次 rollout 对应一个连续完整上下文。 #### Insight 摘要本身是会影响未来决策的 action，其生成概率应与工具动作共同进入 policy gradient。把轨迹按摘要边界拆成标准训练片段，并共享同一 rollout 的终局 advantage，就能使用现有 RL 系统优化“做什么”和“记住什么”，而不需要为摘要单独定义质量标签。 #### Method 1. 当当前上下文达到 threshold L 时插入 summarization prompt，由当前 policy 生成摘要；下一段上下文重置为原始任务提示与最新摘要，然后继续工具交互，直至答案或步骤/摘要次数限制。 2. 根据 summarization-augmented MDP 推导 policy-gradient 分解，将一次 rollout 表示为多个以旧摘要开始、以新摘要结束的 complete trajectories，累计工具 reasoning 与摘要 tokens 的梯度。 3. SUPO 使用 GRPO-style clipped objective；同一原始 rollout 的所有片段共享基于 rollout group 归一化的终局 advantage，避免多摘要轨迹在 group 统计中被重复加权。 4. 屏蔽达到最大步骤或摘要次数仍未回答的 overlong rollouts，避免误惩罚有用的长时摘要策略；在 CodeGym 与自行划分的 BrowseComp-Plus 上比较固定工作窗口下的成功率，并考察测试时增加摘要轮数的扩展。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.966.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.966.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.966.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.966.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.966.pdf#page=6) 核读章节：RL with Summarization-based Context Management · Policy gradient representation · Overall Algorithm: SUPO · Algorithm Design Details · Experiment Setups 核读状态重置、梯度分解、advantage 与 overlong masking。作者将 BrowseComp-Plus 部分题用于训练，仅作方法验证，明确不与公开 BrowseComp 分数直接比较；effective context 不等于同时可访问的原始上下文。 ### Branch-and-Browse: Efficient and Controllable Web Exploration with Tree-Structured Reasoning and Action Memory ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.838/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e104/) #### Idea Branch-and-Browse 将网页操作组织为带动态 subtasks 的 tree search，并结合 nearest-URL replay、background reasoning 与 page action memory。它在分支探索中保持局部目标与历史动作记录，以更少重复操作恢复状态、比较路径并推进长任务。 #### Research Problem 线性 ReAct 缺少有效回溯，普通网页树搜索又要频繁重放大量页面与动作；跨分支的全局历史容易纠缠，而只保存 URL 丢失表单、tab 等中间状态。预先分解的子任务还可能与实际站点结构不符，导致长时间追逐不存在的入口。 #### Insight 网页探索的控制粒度应同时包括子目标和页面状态：子目标给搜索值函数明确参照，page-level memory 说明已经尝试过什么，局部 replay 恢复必要交互。这使“换一条分支”不必同时丢失已学网站结构或重走整段历史。 #### Method 1. task_decomposition 生成子目标，Subtask Manager 在每轮根据 observation 和轨迹更新当前目标，即使未取得进展也可重述；满足局部 success predicate 后推进下一目标。 2. 在页面为节点、动作作边的树上维护 frontier，由 LLM judge 结合当前 subtask、历史与 memory 评分，扩展最高值节点并生成多个候选动作，剪除低值或重复分支。 3. 回溯时加载目标状态前最近的 cached URL，只重放其后的必要动作；background reasoning 先分析未激活节点的 DOM/URL，对明确链接的 click 可预扩展，其余 type/select 等等到 live context 执行。 4. 按 URL 缓存 objective、progress summary、reason–action history、DOM/screenshot 与 tried actions，记录结果和相关性，在重访与重新分解任务时恢复上下文。 5. 以 WebArena 与 VisualWebArena 测任务成功和执行效率，并消融 replay、background reasoning、depth 与 branching factor，分辨搜索控制与加速机制的贡献。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.838.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.838.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.838.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.838.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.838.pdf#page=6) 核读章节：Fine-Grained Structured Planning · Exploration Acceleration · Page Action Memory · Experimental Setup 核读 subtask 更新、评分、replay 和 background action 范围；URL 恢复是作者环境中的加速策略，不能理解为任意有副作用网页操作都可无损回滚。 ### CostBench: Evaluating Multi-Turn Cost-Optimal Planning and Adaptation in Dynamic Environments for LLM Tool-Use Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.584/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a32/) #### Idea CostBench把tool-use评测的目标从完成任务扩展为在可变成本及运行中扰动下寻找低成本执行路径。它将旅行需求转成有严格数据依赖的atomic工具链，再提供覆盖连续子链的composite工具，使相同目标存在不同调用组合；每题重新采样工具价格，以测试在线成本推理而非记住固定便宜工具。 #### Research Problem 常见agent benchmarks主要统计成功率，无法区分高成本的正确方案与经济的正确方案。已有成本研究多围绕token数、调用次数或静态费用，较少同时控制可替代工具路径、用户偏好变化和工具可用性，因此难以诊断agent在计划被打断后是否仍会优化剩余总成本。 #### Insight 成本意识需要在保持任务语义相同的条件下比较多条有效路径；动态适应则需要在运行中改变路径或价格，同时保留目标可达性。显式类型约束阻止模型猜出终点来绕过步骤，atomic与composite的等价性提供可比较路径，而随机费用把任务完成能力和经济推理能力区分开。 #### Method 1. 在地点、交通、住宿、景点、餐饮、购物六类任务中建立偏好识别、搜索、筛选、最终选择四阶段工作流；筛选可含多步，工具严格消费前序产生的自定义数据类型，已获数据允许后续重用。 2. 对每个atomic tool赋随机费用，composite费用等于所含atomic费用之和再加零均值Gaussian noise；排除一次完成全流程的工具，并保持同长度任务在静态、动态条件下的成本可比。 3. 循环执行观察、规划、调用和带费用反馈；动态条件分别插入明确通知的Ban Tool与Preference Change，以及不显式提示的Cost Change与Remove Tools。事件触发依据估计最优路径长度设计，并保证目标仍可达。 4. 组合各领域偏好维度，分离训练和测试的候选值，经GPT-4o检查、自然语言生成及部分人工核验构建query；用Cost Gap、路径edit distance、Exact Match Ratio、任务完成率与无效调用率分别衡量经济性、路径一致性及工具有效性。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.584.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.584.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.584.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.584.pdf#page=5) 核读章节：3 CostBench · 3.1 Environment Setup · 3.2 Agent–Environment Interaction · 3.3 User Query Construction · 4.1 Settings 已读环境、费用、动态事件及指标正文。费用是可配置的显式工具成本，不等于实际模型token费用或端到端延迟；Exact Match衡量与ground-truth路径一致，而任务成功另行统计。公平触发机制的具体保证以正文所述沿ground-truth最优路径的agent为范围。 ### EVOTOOL: Self-Evolving Tool-Use Policy Optimization in LLM Agents via Blame-Aware Mutation and Diversity-Aware Selection ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2016/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a75/) #### Idea EvoTool 在冻结 LLM 权重的条件下演化模块化 tool-use policy：用轨迹诊断确定 Planner、Selector、Caller 或 Synthesizer 中最需要修改的模块，再仅改动该模块规范，并保留在不同任务上有互补优势的候选。它把 prompt/tool-template 优化变为局部可解释的 evolutionary search。 #### Research Problem 长工具链只有终局分数，难以判断失败来自规划、选工具、参数还是最终综合。整体 prompt 更新容易把行为纠缠并破坏已有效部分；仅优化固定单模块又忽视跨模块错误传播。按平均表现贪心保留一个候选，还可能丢掉在少数任务上有效的专门策略。 #### Insight 完整执行轨迹中的参数校验、工具结果和证据引用能提供比终局奖励更细的归因线索。把更新限制在最高 blame 的模块，可减少非目标能力回退；instance-wise winners 则把策略多样性定义为不同样本上的实际胜出，而非文本表面差异。 #### Method 1. 将 policy 拆为 Planner、Selector、Caller、Synthesizer 四角色，共享冻结模型权重，演化对象为 prompts、tool templates 和轻量格式规则；维护多候选 population。 2. 选父候选在训练 mini-batch 上执行，收集任务、完整轨迹、答案及分数；提取工具选择、参数有效性、执行结果和 synthesis grounding 诊断，Blamer LLM 输出模块级 blame scores。 3. Mutator 根据最高 blame 模块与具体失败证据生成自然语言 critique 和局部编辑，仅修改该模块；子候选在同一 mini-batch 优于父候选时才进入 population。 4. 在独立 selection set 上评价所有候选，仅保留至少一个样本上最高分的 instance-wise winners，按胜出频率采样下一代父候选；预算结束返回最佳候选，并跨工具基准及 backbone 检验表现和迁移。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2016.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2016.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2016.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2016.pdf#page=5) 核读章节：Modularized Tool-Use Policy · Self-Evolving Optimization Loop · Trajectory-Grounded Blame Attribution · Feedback-Guided Targeted Mutation · Diversity-Aware Population Selection 核读演化对象、接纳门槛与 population selection。blame 是依据轨迹的 LLM 诊断分数，并非形式因果识别；self-evolving 指外部模块规范变化，不是模型权重在线更新。 ### GATE: Graph-based Adaptive Tool Evolution Across Diverse Tasks ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.87/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a1/) #### Idea GATE 将可复用程序工具组织为分层 Tool Graph，用 GraphRank 同时考虑 docstring 语义和调用结构来检索。Task Solver 与 Tool Manager 根据任务创建、组合、合并和剪枝工具，使经验积累为有依赖关系的技能库，而非不断增加独立脚本。 #### Research Problem 现有 tool-making 常一题生成一个工具，造成重复库和检索成本；固定创建规则或只支持简单 wrapper 又限制复杂技能复用。纯语义检索忽略某工具作为高层组合依赖的作用，按频率机械删除则可能破坏稀少但重要的复杂能力。 #### Insight 工具的价值同时来自功能相关性和在组合中的位置。显式存储 invocation relationships 能引导相关模块共同检索，并在合并或剪枝时保护依赖；只从成功任务吸收实际使用的工具，减少未经任务验证的候选污染长期库。 #### Method 1. 节点保存 name、docstring、code、usage frequency 与层级，basic tools 为底层，composed tools 层级由调用依赖决定；检索图用无向边记录双方是否存在调用。 2. GraphRank 以 query–docstring cosine similarity 的归一化分布作为先验，结合工具图上的 PageRank-style 随机游走，取 top-k 供 Solver/Manager 使用。 3. Task Solver 提出功能需求，Manager 检索、复用或扩展工具并 self-check 可复用性、创新、边界条件与实现可靠性；用 Smith–Waterman structural similarity 找重复并合成功能更一般的新工具。 4. 仅成功解题所用工具进入图并更新调用边，移除被替代冗余工具但保留仍被高层调用者；定期按任务数量、使用率及层级剪枝，高层阈值更低且保留其全部依赖。 5. Minecraft 采用在线构建与探索；封闭代码/agent tasks 在训练任务上建库、剪枝，测试时冻结 tool graph 并用检索增强推理，区分经验库演化与模型参数训练。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.87.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.87.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.87.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.87.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.87.pdf#page=5) 核读章节：Tool Graph Architecture · GraphRank Retrieval · Tool Graph Construction · Open-Ended Tasks · Close-Ended Tasks 核读图边与层级定义、合并/剪枝及训练测试协议；online learning 指工具库演化，未将其写成 LLM 权重持续更新。 ### Mem2ActBench: A Benchmark for Evaluating Long-Term Memory Utilization in Task-Oriented Autonomous Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.370/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a16/) #### Idea Mem2ActBench将长期记忆评测从回答过去发生了什么，转向把未重述的历史偏好落实为正确tool调用及参数。它先整理跨对话的事实演变，再从有记忆依据的完整调用反向生成缺省参数的query，让检索结果必须经过推理和grounding才能转化成动作。 #### Research Problem 现有memory benchmarks常用显式问题检索孤立事实，较难测出agent能否主动补齐任务参数、识别偏好更新，并在被无关交流打断后继续执行。简单把长历史附加到任务也可能泄漏参数或产生互相矛盾的记忆，使失败原因混杂，无法定位记忆利用与工具选择之间的缺口。 #### Insight 若先确定历史中可追溯的目标调用，再有意识省略当前query中的关键信息，便能把需要应用记忆的部分具体化。事实时间链提供历史更新的参照，query-only discriminator过滤无需记忆也能猜对的题目；因此正确tool选择与准确参数绑定可被分别观察，但该过滤并不是逻辑上的不可猜测证明。 #### Method 1. 将ToolACE和BFCL的tool traces改写为多轮任务对话，再混入OASST1中rank=0的交流线程；从对话抽取attribute、fact、source ID，以实体约束的attribute和BERTopic/HDBSCAN聚合相关事实。 2. 用LLM在组内按时间排序，保留合理更新并删除冲突和重复事实；将局部先后关系构成有向依赖图，用修改的Kahn排序合并全局链，遇到环时移除死锁节点中出度最高者以恢复顺序。 3. 从事实链用BM25、BGE-M3及LLM选择目标工具，构造可由记忆抽取或推断的参数，并用fuzzy matching与LLM verifier检查来源；反向生成保留意图但省略参数、依赖历史指代的query，再以无历史discriminator筛除可直接作答样本。 4. 构建400项任务并对事实、冲突处理、记忆依赖做抽样专家核验；实验保留覆盖全部答案证据的429个session，在统一Qwen2.5 backbone下比较七种memory框架，以参数F1、BLEU-1和要求工具及全部参数精确匹配的Tool Accuracy评测。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.370.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.370.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.370.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.370.pdf#page=5) 核读章节：3.1 Overview · 3.2 Heterogeneous Data Integration · 3.3 Constructing the Fact Evolution Chain · 3.4 Memory-anchored Q&A Construction · 3.5 Task Formalization · 3.6 Human Verification · 4.1 Experimental Setup 依据数据构建与评价正文，区分完整生成语料2029 sessions与实验选择的429 sessions。91.3%记忆依赖有效性来自人工抽样，不写作全体任务的形式保证；此评测主要核对生成的tool call，而非证明外部真实执行成功。 ### Mem2Evolve: Towards Self-Evolving Agents via Co-Evolutionary Capability Expansion and Experience Distillation ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.952/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e113/) #### Idea Mem²Evolve 联合演化 Asset Memory 与 Experience Memory：前者存工具和专家代理，后者存成功策略、失败教训与实现经验。解决任务时优先复用已有资产，能力不足时用经验引导创建；任务结束再验证资产、提炼经验，形成能力扩展与经验积累的双向循环。 #### Research Problem 仅积累经验的代理仍受静态工具边界限制，无法获得缺失功能；只会临时生成新工具或专家的系统又容易每次从零开始，重复同类错误并留下不可复用成功。新资产是否可靠也不能仅凭一次任务最终答对来判定。 #### Insight 经验不仅能指导执行，还能降低新能力生成和调试的试错成本；新工具和专家反过来创造新的执行场景与经验。将“可执行资产”和“为什么成功/失败的策略知识”分别组织、相互检索，比把它们混为原始历史更便于持续复用。 #### Method 1. Asset Memory 维护 Agent Bank 的角色、专长、行为建议与工具集合，以及 Tool Bank 的 MCP 兼容实现和输入输出文档；Experience Memory 按 title、适用情境、use cases、content 保存 agent/tool lessons。 2. Forward inference 先分解子任务，按相似度阈值招募专家与 top-k 工具；无匹配能力时结合任务、相关工具经验和 web 信息生成新工具，或按任务需求创建专家代理。 3. 专家在检索到的经验指导下以 ReAct 执行，各子任务结果汇总为答案；LLM judge 读取任务、轨迹和答案，输出成功判断与 critique，默认不依赖 ground-truth labels。 4. Backward evolution 对新资产生成并执行 critique-driven tests，失败则修订与重测，通过后入库；同时从成功轨迹抽象策略与使用模式，从失败和大量调试中提取 anti-patterns 与 failure-fix pairs，更新经验记忆。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.952.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.952.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.952.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.952.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.952.pdf#page=6) 核读章节：Dual-Memory Mechanism · Asset Memory · Experience Memory · Forward Inference · Asset Recruitment · Backward Evolution · Experience Memory Evolution 核读两种记忆结构及 forward/backward loop。资产可靠性由生成测试和执行判断支持，任务成功信号主要来自 LLM judge；不将其解释为对任意新工具的完全正确性保证。 ### Memory-Augmented LLM-based Multi-Agent System for Automated Feature Generation on Tabular Data ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.503/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e52/) #### Idea MALMAS 将 tabular feature generation 分成多种专门策略，并由 Router 每轮选择适用 agents；各 agent 保存尝试、下游模型反馈和抽象经验，再汇总为共享 memory，持续引导下一轮特征探索。最终以 validation utility 选择新特征扩展数据。 #### Research Problem 传统自动特征工程受固定 operators 限制，不能充分利用列语义与任务含义；单一 LLM generator 虽有语义能力，却易重复固定思路且缺少学习目标反馈。若只增加 agents 而无结果记忆，也难区分有用互补特征与冗余试错。 #### Insight 不同转换策略覆盖特征复杂度、作用范围和数据类型的不同维度；下游模型的实际收益则为这些语义假设提供筛选依据。把“做过什么、哪些有效、为什么可能有效”分开记录，再跨角色共享，可让昂贵评估被后续轮次复用。 #### Method 1. 固定 agent pool 包括 unary、cross-compositional、temporal、aggregation、local-transform、local-pattern 六类，Router 根据 metadata 与 global memory 激活子集，成员并行生成候选转换。 2. prompt 纳入列统计/语义、当前特征及历史有效变换，agent 生成可执行 transformation 并评估新特征与已有 X 合并后的 downstream validation performance。 3. procedural memory 记录 base columns、transform type、名称和描述；feedback memory 记录指标、数值与是否有效；conceptual memory 由 LLM 将尝试和收益概括为后续规则。 4. Summary Agent 汇总各 agent 的 conceptual/feedback memories 成全局指导，每轮按收益取 top features 加入数据并更新 metadata，再继续下一轮。 5. 主要配置进行四轮，采用相同 XGBoost downstream model，在十六个分类与七个回归数据集、三次随机 split 上报告 AUC/NRMSE 与平均排名。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.503.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.503.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.503.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.503.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.503.pdf#page=6) 核读章节：Multi-agent Structure · Agent Responsibilities · Memory Architecture and Management · Iterative Feature Generation · MALMAS Configuration 核读六类角色、三层本地 memory 与 global consolidation、选择算法及实验配置；经验规则是 LLM 对验证反馈的归纳，并非新特征有效性的理论证明。 ### SEARL: Joint Optimization of Policy and Tool Graph Memory for Self-Evolving Agents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1125/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a49/) #### Idea SEARL联合学习agent policy与Tool Graph memory：将任务拆成可复用的MCP小工具，以图的节点记录工具、边记录执行依赖，并用共享工具作为跨轨迹的step分组锚点。工具库既提供后续推理的外部经验，也为稀疏的终局强化学习增加相对更细的训练信号。 #### Research Problem 静态tool lists限制任务适应，直接生成单体工具又给较小LLM带来过高难度；把成功经验存成无结构文本或工具列表会丢失组合关系。普通trajectory-level RL只知道最终成败，按完全相同state分组的逐步优化则在开放推理中难以找到足够重复状态，因此难以学习具体的工具创建和复用决策。 #### Insight 使用同一类工具的动作虽不处于完全相同环境，也可能共享可比较的操作语义。把工具语义合并为memory anchor，可在更宽松的抽象层级比较return-to-go，同时保留episode advantage约束整体任务目标。图结构则使经验成为可执行的模块和依赖关系；这种抽象是作者提出的归纳偏置，并不自动消除不同上下文造成的混杂。 #### Method 1. 生成带XML结构的轨迹，先做全局Planning，再在subtask中依次Retrieve、Think和Action；Action既能给出答案也能调用代码工具，创建MCP工具本身也表示为普通tool call，以统一工具生成与复用。 2. 用终局答案正确性的binary reward，加上计划可解析、工具注册格式有效、执行返回有效输出及格式符合要求的process rewards；对同一任务的多条rollout计算标准化episode relative advantage。 3. 将新旧工具按名称、描述的语义相似度合并，以同一tool anchor聚合不同轨迹中的动作；在组内标准化discounted return-to-go形成step advantage，与episode信号联合优化policy。 4. 把计划的subtask依赖投影为工具图；成功创建的工具先进入候选池，每轮优先注册高回报工具，检索模型按subplan与description匹配工具。更新时合并相似节点并重定向关联边，保存累计执行顺序。 5. 用Tool-star的10000个训练样本及Python、Wikipedia基础接口训练，在数学和多跳知识任务上比较GRPO等算法；评估采用Qwen3-32B对照ground truth判断binary correctness并报告pass@1。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1125.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1125.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1125.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1125.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1125.pdf#page=6) 核读章节：3.1 Structured Trajectory Generation · 3.2 Reward Shaping · 3.3 Advantage Estimation with Tool-Memory-Aware Policy Optimization · 3.4 Tool-Based Memory · 4.1 Datasets · 4.3 Training Settings · 4.4 Evaluation Metrics 已核读奖励、两层advantage及图更新正文。语义相似度定义工具等价性，不能等同于功能等价证明；图边来自计划和执行先后，不写成已识别的因果关系。最终正确性评测依赖LLM judge，而非全部为可执行形式验证。 ### ToolScope: Enhancing LLM Agent Tool Use through Tool Merging and Context-Aware Filtering ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1573/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a62/) #### Idea ToolScope 联合处理大工具库中的语义冗余和上下文容量：先通过 ToolScopeMerger 把等价工具聚类、审核并规范化，再用 ToolScopeRetriever 按查询分解和重排序只提供有限相关候选。它将工具集合的治理与逐题检索连成一个流程。 #### Research Problem 名称和描述相近、功能重叠的工具会混淆 retrieval 与 LLM selection；直接给出整个工具库又超出 context window。已有方法多改写单个文档或做检索，未系统消除库内重复；多子问题检索的原始分数还可能不可直接比较，导致某个子目标的工具挤占所有候选。 #### Insight 先降低候选之间不必要的语义歧义，再进行上下文压缩，可同时改善工具辨识与预算使用。图连通分量可高效提出合并簇，但近似等价关系可能传递错误，因此需要簇级复核；多任务检索则应先保证每个子问题的最佳工具，再全局补充。 #### Method 1. 对工具 signature 和 description 编码，检索 top-k 相似工具作为候选对；LLM 二分类判断功能等价，建立无向 pruning graph，并提取 connected components。 2. 每簇选函数名较短的代表工具；可选 Auto-Correction validator 检查全簇是否等价，将错误簇拆分或移除不匹配成员，再作完整性检查，维护原工具到规范工具的映射。 3. LLM 生成合并后的 signature 与 description，并依映射重标 benchmark 中目标工具；该步骤改变候选工具空间，保障后续查询标签与合并工具一致。 4. Retriever 对查询/子查询组合 sparse 与 dense similarity，cross-encoder rerank；多工具场景先保留各子查询 top-1，再对剩余分数做 min-max normalization，全局补齐 top-k 候选供代理选择。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1573.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1573.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1573.pdf#page=4) 核读章节：Overview of ToolScope · ToolScopeMerger · ToolScopeRetriever 核读图合并、自动校正和多子查询检索流程。原工具到代表工具是归并映射，不能因正文 one-to-one 措辞误称双射；本文核心评测为 tool selection，合并 schema 不自动证明底层执行接口完全等价。 ### TPS-Bench: Evaluating AI Agents’ Tool Planning & Scheduling Abilities in Compounding Tasks ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1614/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a65/) #### Idea TPS-Bench 以复合任务测量 agent 是否既能挑对工具，又能按依赖正确安排串行/并行执行。它把 task completion、tool selection 与时间、token、调用轮次同时纳入评估，暴露单纯看成功率无法呈现的调度取舍。 #### Research Problem 现有工具 benchmark 多关注孤立任务或最终完成，难区分选错 API 与把依赖步骤错误并行化。面对多种 MCP 工具，全部串行可能可靠却耗时，全部并行又可能在缺少前置结果时调用；需要带不同依赖复杂度的复合任务检验这种能力。 #### Insight 工具相关性与调度合理性是不同维度：候选集合选得好并不保证执行顺序有效，较少轮次也不必然高效完成任务。将可并行子任务和严格前置依赖共同放入 benchmark，才能研究性能与延迟之间的实际折中。 #### Method 1. 收集十五个 MCP servers 的 141 个工具，依据 names/descriptions 由 LLM 生成可解决 subtasks，再组合并人工核查为二百个任务；Easy 至多五个弱相关子任务，Hard 最多五十个且有严格依赖。 2. 评估时先让 agent 从工具库选择至多十个工具，再分解任务、识别依赖并逐轮决定调用；允许独立子任务并行，收到结果后决定继续或输出汇总。 3. 用 Gemini-2.5-Flash 对子任务完成率及工具选择评分，同时记录 input/output tokens、调用 turns、端到端 latency 与 cost-of-pass，并报告与人工评分/分解的相关性。 4. 消融 all-tools、rule-based 与 self-selection，以及默认并行和强制串行，区分 schema 上下文成本与 dependency scheduling 的影响。 5. 另以 597 个样本对 Qwen3-1.7B 做 GRPO pilot，用 judge 的完成度和并行程度奖励检查能否兼顾准确与时间，而非仅奖励减少调用轮次。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1614.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1614.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1614.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1614.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1614.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1614.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.1614.pdf#page=8) 核读章节：Benchmark Construction · Evaluation Process · Metrics · Analysis and Ablation · Reinforcement Learning 核读任务生成、评估器与 RL pilot。latency 来自本地/官方 API 不同部署条件，不作为纯调度算法的完全受控比较；正文 RL 增益叙述与表格数值不完全一致，笔记不复述冲突百分比。 ### A Goal Without a Plan Is Just a Wish: Efficient and Effective Global Planner Training for Long-Horizon Agent Tasks ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.597/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e64/) #### Idea EAGLET 训练一个独立 global planner，为冻结的 executor 提供高层计划。它先从已有 trajectories 合成 plans，并用能力不同但同源的两个 executors 检查计划是否有帮助，再做 cold-start SFT；随后以计划带来的 executor capability gain 和交互效率为 reward，通过 GRPO 改进 planner。 #### Research Problem 仅在每一步做局部 reasoning 容易陷入重复试错，手写 global plans 又难以迁移和规模化。直接用 executor 最终成功奖励 planner 也存在混淆：强 executor 可能在坏计划下仍完成任务，弱 executor 又可能无法兑现合理计划。论文研究如何把 plan 本身的增益从 executor 固有能力中区分出来。 #### Insight Plan quality 应通过有无计划的 paired execution 比较，并跨不同能力的同源 executor 验证，而不只看一次最终成功。共享 backbone/architecture 可以减少部分模型差异，但不能消除 rollout 随机性。正文 ECGR 公式先要求 completion rate 严格提高，再乘交互长度因子；因此按公式，两次同样成功仅缩短轨迹并不会产生该项增益，需与文字中的效率表述区分。 #### Method 1. Plan synthesis：向强 reasoning LLM 提供 task instruction、已有 trajectory 和 one-shot plan example，生成 high-level plan 与相应 reasoning，形成候选 SFT 数据。 2. Homologous Consensus Filtering：选 expert/novice 两个同预训练来源、同架构但 post-training 能力不同的 executors，各自执行有计划与无计划两种条件；若计划损害任一 executor 的 completion rate，则剔除。 3. Planner RL：每个任务采样多个 plans，以两个 executors 的严格 completion gain 指示值乘长度因子后求和，再加 <think>/<plan> format reward；GRPO 只更新 planner，executors 保持冻结。 4. 使用与验证：推理时先生成一次 global plan，将其与 task instruction 共同交给 executor 的交互 loop；在 ScienceWorld、ALFWorld 和 WebShop 检查任务表现、交互成本及不同 executors 的适用性。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.597.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.597.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.597.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.597.pdf#page=5) 核读章节：Cold-Start Supervised Fine-tuning · Homologous Consensus Filtering · Executor Capability Gain Reward · Global Planning Policy Optimization 依据正文 SFT filtering 与 reward equations 整理；明确 Eq.5 的 strict-improvement gate 与后文 equal-success efficiency 文字之间存在表述张力，未自行改写为另一种 reward。 ### AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.337/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a14/) #### Idea AgencyBench 将 Agent evaluation 组织为真实项目中的连续任务：agent 在同一 scenario 中逐步实现功能，交付文件或环境状态，并根据 user simulation agent 的 rubric feedback 修正结果。它结合 Docker execution、rule-based checks 与 multimodal judges，衡量 long-horizon task completion、feedback-driven self-correction 和 resource efficiency。 #### Research Problem 现有 benchmark 常聚焦单一能力或较短工具链，难以观察开发、research 与 MCP tool use 中跨步骤保留约束、维护已有结果和修复错误的能力；依赖人工反复给反馈又限制大规模 rollout collection。论文要构建足够长、覆盖多类工作且能自动评估真实 deliverables 的 benchmark，而不是只判断最终自然语言回答。 #### Insight 复杂任务的可完成性取决于持续维护产物和利用反馈，单轮成功率会遗漏这两点。把项目拆为相互依赖的递进任务，并以明确 rubrics 驱动 feedback，可以观察 agent 的恢复能力及其成本。标题中的 1M tokens 指论文报告的 scenario rollout 平均 token 消耗，不应理解为每个决策都必须在单次 1M-token context window 内完成。 #### Method 1. 由 20 位专家构建 6 类能力、32 个 scenarios、138 个 tasks；每个 scenario 包含 1–5 个难度递增的任务，前一任务结果影响后一任务。每项提供 Query、Deliverables、Rubrics 和 evaluation scripts，再由独立专家 panel 一致审核。 2. Agent 在 workspace 中通过文件操作、shell、web search、context management 等 scaffold tools 工作；产物同步到 Docker sandbox，脚本执行 UI 操作或功能检查，并把 screenshots、recordings 等 artifact 送到隔离的 eval-space 评分。 3. 可客观检查的要求使用 rule-based assertions，主观或复杂视觉要求使用 LLM-as-Judge；Text Judge 检查代码与逻辑，Vision Judge 检查截图、视频中的行为与视觉结果，涉及 visual deliverables 时取两者平均。User simulation agent 根据未满足的 rubrics 给具体反馈，触发后续修正。 4. 报告 rubric-based Average Score、达到 60% 阈值的 Pass@k、Average Attempts，以及分数相对于 attempt/token cost 的效率。对 judge 与反馈做人工抽查验证；这些结果依赖 scaffold、rubric 和 judge 配置，体现受控 benchmark 中的表现，并不等于真实项目的全面质量保证。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.337.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.337.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.337.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.337.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.337.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.337.pdf#page=7) 核读章节：AgencyBench Design · Rollout Collection · Evaluation · Experimental Setup · Feedback-driven Self-correction Analysis 核读任务依赖、workspace/eval-space、user simulation、rule/LLM judging 与指标定义；将 token 总消耗、rubric score、pass threshold 分开解释，不把它们当作 context window 要求或完全无模型偏差的评估。 ### Agentic Rubrics as Contextual Verifiers for SWE Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.697/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e83/) #### Idea Agentic Rubrics 先让 expert agent 阅读 repository 和 issue，生成针对当前代码库的 weighted checklist，再由 LLM judge 按每项 criterion 为候选 patches 评分。每个任务只生成一次 rubric，多次复用以 rerank 独立采样的 SWE-agent solutions，提供不执行候选测试的 contextual verifier。 #### Research Problem 执行测试是 SWE verification 的强信号，却需要环境准备且未必覆盖需求边界；直接读 patch 的 classifiers 或 generic judges 又缺乏代码库 context，难解释误判。论文研究能否通过一次 agentic repository exploration 获取具体、可检查的 criteria，在 parallel test-time scaling 中更可靠地选择 patch。 #### Insight Repository grounding 将模糊的“修复正确位置”转成具体 classes、methods 和 behavioral contracts，使 rubric 更容易一致评分。多个局部 criteria 还能提供比单个 pass/fail 更细的信号，但 rubric 可能过度规定编辑位置或误解 spec。与 tests 不一致既可能暴露漏测问题，也可能是 rubric 错误；正文 utility 分析本身由 LLM 辅助判断，不能自动视为人工确认的新 bug。 #### Method 1. Rubric generation：在 SWE-Agent scaffold 中提供 repository 与 issue description，agent 通过文件导航、搜索和轻量 commands 收集 context，输出 rubrics.yaml；每条 criterion 带 1/2/3 importance weight。 2. 四类 criteria：File Change 检查修改范围，Spec Alignment 检查需求，Integrity 检查 test weakening 等不当变化，Runtime 推断运行行为；这些 axes 由作者预设，具体条目与权重由 rubric agent 生成。 3. Patch scoring：judge 对每项 criterion 给 binary score，以 importance-weighted average 得到 verifier score；评分阶段据此排序 candidate patches，不要求执行其 tests。 4. TTS evaluation：在 500 个 SWE-Bench Verified tasks 上为固定 generator 每题采样 16 条 trajectories，报告 Best@K；最终 resolved label 仍由 ground-truth Fail-to-Pass/Pass-to-Pass tests 判定，并消融 repository access、rubric model 与 judge model。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.697.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.697.pdf#page=3) · [PDF p. 6](https://aclanthology.org/2026.acl-long.697.pdf#page=6) · [PDF p. 8](https://aclanthology.org/2026.acl-long.697.pdf#page=8) 核读章节：Agentic Rubrics · Test-time Scaling with Agentic Rubrics · Rubric Utility Analysis · Impact of Repository Grounding · Sensitivity to Judge Model Choice 依据 rubric construction、weighted grading 与 Best@K 协议整理。Execution-free 描述的是候选 rubric scoring，不表示不需要 repository environment，也不表示最终 benchmark evaluation 不跑 tests。 ### Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward Modeling ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1062/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a48/) #### Idea Plan-RewardBench 将 reward-model evaluation 从单条回答或单次 function call 扩展到完整 tool-using trajectory 的 preference comparison。它在相同 task 和 tool environment 下构造强轨迹与具有迷惑性的负例，检查 judge 能否识别 planning、tool grounding、error recovery 和 refusal quality 的长期差异。 #### Research Problem 一个轨迹可以产生流畅答案和格式合法的 API calls，却在中途忽略错误、沿用过时约束或编造 tool results。现有短 context RM benchmarks 难测这些跨步骤依赖，简单负例又让 evaluator 靠长度或风格猜标签。论文研究如何构建可靠且难以通过表面线索解答的 trajectory-level judging benchmark。 #### Insight Agent alignment 需要判断行为链是否受真实 tool feedback 支撑，不能只评价最后回复是否好听。Natural rollout errors 与保持风格的 minimal edits 能提供互补的难例，但 preference labels 仍受人工设计 rubric 与 judge panel 影响。Benchmark 评估的是轨迹区分能力；更高 pairwise accuracy 不能直接保证该 RM 用于在线 RL 后一定产生更可靠 policy。 #### Method 1. Candidate collection：以 Toucan/MCP tools 为基础，用 Qwen-Agent 和 OpenAI-Agent runtimes、多种模型及采样设置重新执行任务，获得自然成功与失败 trajectories，保留相同环境下的可比候选。 2. Scenario 与 negatives：覆盖 Safety Refusal、Tool-Irrelevance/Unavailability、Complex Planning 和 Robust Error Recovery；结合 natural negatives、rule-based injections 和 minimal-edit perturbations，针对 tool hallucination、stale plans、blind retry 等错误。 3. Preference validation：三个 judges 按场景 rubric 打分并给 diagnostic tags，分歧大或关键标签冲突时 meta-review，删除仍模糊的样本；按 score gap 和长度等因素组对，再独立 pairwise post-check，并进行分层 human audit。 4. Evaluator protocol：DRMs 独立打分后比较，GRMs 与 LLM judges 读取完整 tool registry、conversation 和两条 interleaved trajectories；pairwise judges 用 A/B order swap 控制位置偏差，报告七个 splits 的 macro-average accuracy 与长度相关表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1062.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1062.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1062.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1062.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1062.pdf#page=6) 核读章节：Benchmark Construction · Hard-Negative Construction · Preference Labeling and Pairwise Assembly · Evaluation Results 依据候选生成、labeling 和 evaluation protocol 整理。Human audit 是分层子集检查，未表述为每一对偏好都经过人工标注；七个 splits 的平均也不是四类场景等权平均。 ### CoEvolve: Training LLM Agents via Agent-Data Mutual Evolution ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1055/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e123/) #### Idea CoEvolve 把 agent RL 与 training-task generation 接成闭环：从当前 policy 的 rollouts 中识别 forgetting、boundary 和 rare interaction signals，用这些信号引导 LLM 重新探索环境，再把探索结果抽象为可执行任务，验证后加入训练集。Policy 改进与数据分布更新交替进行，持续针对 agent 的薄弱行为补充训练机会。 #### Research Problem 固定的人写或一次性合成数据无法跟随 policy 的能力变化，容易遗漏复杂交互和 long-tail action patterns。单纯扩充随机合成任务也未必覆盖当前最需要学习的区域。论文研究如何从训练反馈中定位弱点，并通过真实 environment interaction 产生新的 task specifications，而不只重复已有 query 或改写失败答案。 #### Insight Rollout 不仅提供 policy reward，也可以作为决定下一批训练内容的诊断信号。Forgetting 指向能力退化，boundary 指向成功不稳定，rare patterns 指向覆盖不足，三者用于改变 exploration 的方向。Environment validation 降低不可执行任务的比例，但正文也保留未完全成功却获得 positive reward 的任务，因此 validated 不应被理解为每个 synthetic solution 都已经完整正确。 #### Method 1. 初始化与 RL：让 LLM 无指导地探索环境形成初始 synthetic task set；对每个任务采样一组 trajectories，用 outcome reward 与 GRPO 更新 policy，同时保存训练行为记录。 2. Weakness signals：检查近期成功后当前失败的 forgetting cases、同一 policy 下同时出现成功与失败的 boundary cases，以及累计出现频率较低的 action patterns；一个 trajectory 可以触发多种信号。 3. Guided re-exploration：LLM 读取带信号的完整 interaction history，反思失败或不稳定原因，构造 exploration context；从同一 context 开始多轮、多步环境探索，收集带 rollout ID 的 action-observation triplets。 4. Task evolution：将相关 triplets 聚合为 task query 与 plausible solution，通过环境执行检查；成功或获得 positive environment reward 的候选被保留，更新训练分布。实验在 AppWorld 和 BFCL 比较静态数据、随机探索和 feedback-guided generation，并消融三类 signals。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1055.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1055.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1055.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1055.pdf#page=5) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1055.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.1055.pdf#page=8) 核读章节：Training and Signal Extraction · Signal-Guided Environment Re-exploration · Task Abstraction and Validation · Ablation Study 依据正文三阶段闭环与 validation 接受条件整理。论文的 without human supervision 指其训练数据生成流程，不代表无需环境、reward 或外部 LLM 支持。 ### COMPASS: Enhancing Agent Long-Horizon Reasoning with Evolving Context ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.152/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a2/) #### Idea COMPASS 将 long-horizon agent 的执行、战略判断和 context 整理交给 Main Agent、Meta-Thinker 与 Context Manager。Main Agent 持续运行 ReAct loop；Meta-Thinker 发现循环、tool misuse 或完成信号时介入；Context Manager 根据这些信号重建下一阶段的 brief，让 agent 保留关键证据而不必反复携带全部历史。 #### Research Problem 长任务中的局部错误会累积，但统一 context 既承担执行记录又承担反思，关键约束容易被冗余 tool outputs 淹没。增加 planner 或 reflector 也未必解决问题：agent 仍须判断何时坚持、何时 pivot，以及何时停止或继续核验。论文研究如何在无需人工战略干预的前提下，使 context 更新与这些决策协同。 #### Insight Context management 的价值不只在压缩 token，而在于为下一阶段提供与当前战略决策一致的信息。Meta-Thinker 提供改变方向的触发信号，Context Manager 保留成功尝试、失败路径和未解决问题，二者分别缓解盲目坚持与遗忘。正文的 ablation 支持这种互补性，同时说明过度 revision 也会增加执行成本，不能把更频繁的反思直接等同于更可靠。 #### Method 1. 初始化：Meta-Thinker 根据 query 形成初步计划与 notes；Context Manager 将 query、已有结构化 notes 和当前战略信息组织成 Main Agent 的工作 context。 2. 执行与监控：Main Agent 在 inner loop 中生成 thought、tool call 和 observation；Meta-Thinker 异步检查当前 turn 的轨迹，遇到异常或完成信号后发出 replan、verify 或 stop 等高层决策。 3. Context refresh：发生介入后，Context Manager 综合轨迹、相关历史 notes 和战略信号生成新 brief，把关键观察及失败经验写回持久 notes；随后进入下一轮，或由 Answer Synthesizer 汇总结果。 4. 扩展与验证：Context-12B 先用强模型生成的 briefs 做 SFT，再按后续任务成功与 token 使用构建 DPO preference；COMPASS-TTS 探索 parallel sampling。核心系统在 GAIA、BrowseComp 与 HLE 的文本设置中评估，并检查 persist、pivot、conclude 与 error recovery 行为。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.152.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.152.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.152.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.152.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.152.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.152.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.152.pdf#page=7) 核读章节：Agents in Long-Horizon Tasks · Methods · Experimental Results · Practical Extensions 依据正文 architecture、trajectory lifecycle、ablation 与 Context-12B 训练流程整理；Insight 是机制性归纳。TTS 仅概括已核读的 parallel sampling 思路，未逐项展开后续页面的变体。 ### DeepPlanning: Benchmarking Long-Horizon Agentic Planning with Verifiable Constraints ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.335/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a13/) #### Idea DeepPlanning 构建 Travel Planning 与 Shopping Planning 两类可验证任务，要求 agent 主动调用 APIs 获取信息、满足单个选择的 local constraints，并同时满足全局时间、空间和预算约束。每个任务运行在独立 offline sandbox 中，最终输出 itinerary 或 shopping cart，通过结构化检查区分部分约束满足与整套计划完全可行。 #### Research Problem 现有 tool-use benchmark 往往验证单次调用或局部条件，而现实 planning 的困难来自跨步骤依赖：酒店位置影响交通，交通影响时间，coupon 组合改变最便宜的购物方案。传统 planning 测试又常直接给出完整环境信息。论文研究如何同时评估 proactive information acquisition、local reasoning 和 global constrained optimization。 #### Insight 局部正确率高并不意味着最终 plan 可执行，单个关键约束失败就可能使整套方案无效。论文观察到 constraint-level score 与 case accuracy 的明显差距，说明评测必须保留严格的全局成功条件。Offline sandbox 提供可复现性，但也将结论限制在构造的数据库和 APIs 内；其 code-based scoring 前仍有 LLM parsing 步骤，因此不能称为完全不依赖模型的评估链路。 #### Method 1. 环境设计：Travel 包含 120 个独立任务及中英文版本，使用真实来源整理的旅行数据和 9 个 APIs；Shopping 包含 120 个英文任务，以合成 product data 和 15 个 APIs 控制属性、优惠与库存复杂度。 2. Task generation：从数据库中的 solution skeleton 出发，逐层注入 personalized constraints 和只有查询环境才能发现的 implicit constraints；调整候选使任务可解且有唯一最优解，再由 LLM 转成自然语言 query。 3. 质量控制与 scoring：人工检查 query 和任务逻辑；Travel 先将 itinerary 解析成固定结构，再用 code 检查 commonsense 与 personalized requirements；Shopping 比较预测 cart 和 ground-truth cart，分别报告 Match Score 与全匹配 Case Accuracy。 4. 评测协议：将模型统一接入 function-calling tools，每任务最多 400 次 tool calls，独立运行四次并平均；进一步分析 reasoning mode、tool calls、interaction turns 与任务复杂度之间的关系，而不只给最终排行榜。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.335.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.335.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.335.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.335.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.335.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.335.pdf#page=7) 核读章节：Benchmark Overview · Benchmark Construction · Task Evaluation · Experimental Setup · Cost–Performance Trade-offs 依据正文 task generation 与 metric 定义整理，特别保留 Travel 的 LLM parsing 环节。关于 sandbox 外推范围的限定是笔记分析；Method 描述的是 benchmark 构建与评测，不是新的 planning policy。 ### Evolving Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.754/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e94/) #### Idea EVA 用 quasi-symbolic abstractions 统一 reasoning、memory 与 meta-control：把经验表示为 variables、transitions、constraints 和 outcome signals，由 Perceptor 构建、Actor 据此行动、Controller 决定继续、重新抽象、检索或 rollback。经验以可重新绑定到当前环境的结构保存，成功路径和可定位的失败都能用于未来决策。 #### Research Problem 直接保存自然语言 trajectories 容易把可复用的决策机制与具体实体混在一起，导致 agent 在相似任务中重复错误，也难以协调 memory retrieval 和 reasoning recovery。论文研究如何抽取跨情境可用的结构，并让 agent 在执行与后续学习中共同改进这些结构及生成它们的模块。 #### Insight 可迁移经验需要保留 preconditions、transitions 与失败原因，而不仅是成功答案。失败记录只有能通过 feedback 或 verifier 定位到某个 transition 时，才应转成 avoidance constraint；否则保留为 episodic evidence。Controller 的 rollback 主要恢复内部解释与 context，不能自动撤销外部动作，这使 reasoning repair 与真实环境 recovery 的边界保持明确。 #### Method 1. Abstraction 与 control：Perceptor 将近期 observation-action-feedback 转成 typed structure；Controller 读取 sequence-confidence proxy、constraint contradiction、novelty 与 progress，选择 ACT、ABSTRACT、RETRIEVE 或 ROLLBACK。 2. Memory grounding：按结构相似度检索 abstractions，通过 Bind 将其中 roles/states/constraints 映射到当前实体；成功经验提供 reusable transitions，可定位失败提供 avoidance constraints，结果作为 Actor context 的一部分。 3. Memory utility：记录 abstraction 后续被实际绑定和使用的成功或失败次数，结合 recency discount 计算 utility；达到最低复用证据量后才允许 pruning，避免尚未被充分尝试的记录立即被删除。 4. 两阶段学习：先通过带临时 inner-loop adaptation 的 outer-loop policy gradient 校准 Controller；交互阶段冻结 Controller，full EVA 用 GRPO 在 episodes 之间更新 Actor 和 Perceptor adapters。另有 frozen-weight EVA-Doc/EVA-M 等配置，实验比较交互任务、retrieval 和 mid-episode distribution shift。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.754.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.754.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.754.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.754.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.754.pdf#page=6) 核读章节：Quasi-Symbolic Abstractions Mechanism · Framework Modules · Reasoning Cycle · Learning Scheme · Experiments 已核读 memory utility、Bind、rollback 与两阶段训练协议。Sequence confidence 是 token-probability proxy；本笔记不把它当成校准过的 correctness probability，也不混同 full EVA 与 frozen-weight variants。 ### EvoRoute: Experience-Driven Self-Routing LLM Agent Systems ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1771/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e211/) #### Idea EvoRoute 在 agent workflow 的每个 subtask 上动态选择 LLM backbone，用历史执行经验共同估计 performance、monetary cost 与 latency。系统先检索相似步骤，再保留 Pareto frontier 上的候选模型，通过 Thompson sampling 作选择，并将新执行结果写回 experience base，使 routing 随使用过程持续更新。 #### Research Problem 现有 agent 系统通常将 planner、web agent 或 coder 固定绑定到某个 LLM，但同一 role 内的任务难度和 tool requirements 并不恒定。全程使用强模型可能造成高成本与长等待，固定使用小模型又可能损害成功率。论文将这种冲突表述为 Agent System Trilemma，研究如何在 multi-turn workflow 中细粒度分配模型。 #### Insight 可复用的 routing 经验不应只按 query 的语义相似度索引，还应包含 agent role、tool-use profile 和真实执行开销。先剔除被其他模型全面支配的选择，再在剩余候选间探索，可以把质量与资源约束显式连接。这里的 Pareto optimality 是基于检索到的历史统计，既不是所有未来任务的最优保证，也不能将 step success 与最终成功的相关性当作因果贡献。 #### Method 1. Experience base：完成 workflow 后拆分 trajectory，逐步记录 role、所选 LLM、subtask instruction 与 embedding、使用的 tools、cost、duration、step execution success 以及 task-level outcome。 2. Multi-faceted retrieval：分别按相同 role、instruction embedding 的 cosine similarity 和预测 tools 的重叠检索历史记录，取三个集合的 union，形成候选经验池而非要求三项同时匹配。 3. Pareto filtration：对候选 LLM 汇总 performance、平均 cost 与 duration；performance 统计结合 task outcome 和 step success。去除在三个维度上被其他模型支配的候选，得到经验性的 Pareto set。 4. Selection 与反馈：用 Normal-Inverse-Gamma posterior 表达各指标的不确定性，Thompson sampling 后按用户设定的质量、成本与延迟权重计算 utility；执行所选模型并更新经验。实验将该机制接入 ReAct、Smolagents 与 CK-Pro，比较 GAIA 和 BrowseComp+ 上的质量及开销。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1771.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1771.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1771.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1771.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1771.pdf#page=6) 核读章节：Preliminary · Methodology · Experiment Setup 已核读 routing objective、experience tuple、union retrieval、Pareto filtration 与 Thompson sampling。正文将 cold-start exploration 的细节放在 appendix，本笔记不推断未核读的初始化协议。 ### How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.27/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e5/) #### Idea 论文通过受控实验研究 episodic memory 的 addition 与 deletion 如何改变 agent 的长期行为，提出 experience-following：检索记录的 query 越像当前 query，agent 的输出也越容易模仿该记录。基于这一现象，作者比较不同质量门槛的 memory addition，并用记录被复用后的下游任务质量估计其 utility，决定是否删除。 #### Research Problem 不断积累经验通常被视作 agent 自我提升的来源，但错误记录可能被重复模仿并重新写入 memory，形成 error propagation；原先被判为正确的经验也未必适合未来任务。论文研究 memory 容量、记录质量和 evaluator 可靠性如何共同影响长期 performance，以及 retrieval frequency 是否足以判断一条经验的保留价值。 #### Insight Memory 的价值需要同时看记录自身是否可靠，以及它作为 demonstration 后是否帮助当前任务。Future execution feedback 能提供额外的 utility 标签，但不是无需成本或噪声的真实因果标签：同一次任务会受到多条记录和 policy 的共同影响。实验也显示 deletion 的效果依赖 evaluator 和任务，不能归纳为 memory 越少越好或 history-based deletion 在所有设置下都提升准确率。 #### Method 1. 实验对象：使用可控制噪声的线性映射 RegAgent，以及 EHRAgent、AgentDriver、CIC-IoT Agent；memory 保存 query-execution pairs，通过输入相似度检索为 in-context demonstrations。 2. Addition 对比：从相同初始 memory 出发，比较 fixed memory、add-all、coarse automatic evaluator 和 strict evaluator。Strict 设置通过 ground-truth comparison 模拟 oracle，并非每次执行都实际招募人工判断。 3. 行为诊断：同时测量 retrieved/current queries 的 input similarity 与 executions 的 output similarity；用同一检索集合但替换成 ground-truth outputs 的对照分析 error propagation，并比较长期 performance 与 memory size。 4. Deletion：periodic 策略移除一段时间内检索过少的记录；history-based 策略在有足够复用次数后，按相关后续任务的平均 utility 删除低价值记录；combined 策略取两类删除条件的并集，检查容量、质量和 distribution shift 下的权衡。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.27.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.27.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.27.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.27.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.27.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.27.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.27.pdf#page=8) 核读章节：Addition of Memory · Experience-Following Property · Error Propagation in Agent Memory · Deletion of Memory · Misaligned Experience Replay 已核读 addition/deletion 规则与对照实验，区分 oracle simulation 和真实人工评估。Insight 中关于 downstream utility 并非独立因果归因的表述是分析性限定。 ### LLM-as-Scheduler: Agentic Workflow Dynamic Scheduling ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.581/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e60/) #### Idea LLM-as-Scheduler（LAS）在现有 multi-agent workflow 上加入两级 cascade：廉价 gate 先判断中间 artifact 是否值得进一步调度，随后 LLM scheduler 决定继续 verification、test、refinement，或 early exit。它按每个 query 的实际中间结果调整执行路径，减少已经得到可靠结果后仍重复验证的计算。 #### Research Problem 固定 workflow 对简单和困难请求执行相同的生成、批评、修复和测试阶段，导致 token 与 latency 浪费；但若每一步都调用大模型判断能否停止，scheduler 自身又会抵消节省。论文研究如何以低开销筛选候选，并在节约计算与保留正确率之间进行动态 routing。 #### Insight 早停机会应由当前 artifact 的质量信号决定，而不只由 query 的静态难度决定。Gate 在这里将有希望跳过步骤的结果交给 scheduler，明显不佳的结果继续原 workflow；因此 gate 不是直接宣告答案正确的最终 verifier。效果依赖 lite judge、阈值和 scheduler 的判断质量，论文报告的是成本与准确率的经验 trade-off，并非无损加速保证。 #### Method 1. Structured envelope：每个 agent 输出 artifact、validator results 和 step metadata；gate 计算 format/spec adherence、轻量 classifier score、多候选 agreement 以及历史 reliability，按加权分数和阈值筛选。 2. Gate training：用完整 workflow 产生的中间 outputs 及 correctness labels 训练 benchmark-specific DistilBERT lite judge，通过 validation 选择 feature weights 与 gate threshold；无显式格式要求的任务不使用相应 spec checks。 3. LLM routing：对 gate 放行的候选，构造包含任务、risk tier、当前结果、gate features 与可选 workflow nodes 的 prompt；scheduler 返回严格 JSON action/target，orchestrator 据此调用 test、verification、refinement 或 output unit。 4. Fallback 与评估：对非法 route 使用默认路径，对证据不足的高 risk early exit 改送 verification；正文将 LAS 接入 AFlow，使用 Doubao 系列模型，在 HumanEval、MBPP 和 GSM8K 比较 correctness、output tokens 与 end-to-end latency。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.581.pdf#page=1) · [PDF p. 4](https://aclanthology.org/2026.acl-long.581.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.581.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.581.pdf#page=6) 核读章节：Gate Unit · LLM-as-Scheduler Routing · Evaluation · Implementation details 依据 gate feature/decision 规则、Algorithm 1 与实验实现整理，特别保留 good candidates 送 scheduler、poor candidates 继续原 workflow 的方向。未将 token 节省解释为所有输入输出费用的等比例节省。 ### No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.576/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e59/) #### Idea ECHO 让 policy 与生成自然语言反馈的 critic 在同一批 on-policy trajectories 上同步学习。每条初始 trajectory 获得多份 critique，policy 分别据此重新尝试；critic 按这些反馈带来的实际 reward 增益受训，policy 则学习高质量的 refined trajectories，从而避免冻结 critic 的诊断逐渐脱离 agent 当前能力。 #### Research Problem Critique-guided RL 希望把稀疏 outcome reward 转成可操作的修正建议，但 policy 在训练中不断改变，主要 failure modes 也会漂移。早期训练后冻结的 critic 可能持续指出 agent 已解决的问题，无法定位后期细微错误。另一个问题是临近 reward ceiling 时，同样幅度的提升更难获得，线性增益可能弱化这些反馈的学习信号。 #### Insight Critique 的质量应由它对当前 policy 的修正效用定义，而不是只由解释看起来是否合理定义。因此 critic 需要与 policy 同步更新。ECHO 的 saturation-aware gain 进一步提高高分区域改善的权重；这是作者选择的 reward shaping 假设，并非对真实任务难度的直接测量，其效果仍依赖外部 reward 是否可靠。 #### Method 1. Cascaded rollout：policy 先针对 query 生成初始 trajectory，外部 reward model 给出 baseline score；critic 读取 query、trajectory 与分数，独立采样多份 score-aware diagnoses。 2. Conditional refinement：将每份 critique 加入 query，分别由 policy 生成新的 trajectory 并评分，形成一组 critiques 和一组对应 refinements，为两个模型提供相互关联的训练样本。 3. Critic reward：用 log((1 − initial score + η) / (1 − refined score + η)) 表示 saturation-aware gain；提升得到正反馈，退步得到负反馈，相同绝对增益在高分区域具有更大权重。 4. Dual-track GRPO：policy 按 refined scores 计算 group-relative advantages，critic 按 gain rewards 计算自己的 advantages；二者使用 clipping 与 KL constraint 同步更新。实验覆盖 WebShop、ALFWorld、SciWorld 和 DeepSearch，并分析训练阶段间的 failure-pattern drift。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.576.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.576.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.576.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.576.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.576.pdf#page=6) 核读章节：Methodology · Saturation-Aware Reward Design · Synchronized Co-evolutionary Optimization · Experiment Setup · Results 依据正文 rollout、reward equation 与 dual-track objective 整理；关于 reward reliability 的限定为笔记的分析性判断。未将训练时的 critique-refinement loop 推断为所有部署任务的强制推理流程。 ### PACE: Predictive Adaptive Context Extraction for Long-Horizon LLM Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1252/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e149/) #### Idea PACE 将完整 interaction history 保存在 external memory 中，每一步根据当前 query 与最近交互估计旧 chunks 的相关性，再为每个 chunk 选择 full text、detailed summary、brief summary 或 placeholder。随着任务推进和 context budget 收紧，系统提高保留细节的门槛；agent 仍可通过 glimpse 取回被压缩的原文。 #### Research Problem 保留全部历史会耗尽 context window，而持续重写单一 summary 又可能过早丢失以后需要的信息。已有 folding 方法还可能要求 agent 学习专门的 memory actions。论文研究如何不修改主 agent 的 reasoning policy，就能按下一步的信息需求动态决定历史内容的粒度，并支持较长的执行过程。 #### Insight Context 压缩可以是可逆的 representation selection，而不必永久删除历史。PACE 所称 next-step prediction，具体实现是以 query 加最近交互构建 embedding，再做相似度排序，并非另行训练预测未来 action 的模型。Multi-granularity 表示使相关性与预算共同决定展示细节，glimpse 则为 retrieval 判断失误提供恢复路径；存储完整历史仍有持续增长的成本。 #### Method 1. Memory representation：每个 interaction chunk 保存原文与缓存 key embedding，由后台 LLM 异步生成 detailed、brief 和 placeholder 等表示，主 agent 无需等待 summary 才能继续。 2. Relevance scoring：把用户 query 与最近两个保留原文的 chunks 编码为 query vector，以 BGE-M3 cosine similarity 匹配旧 chunks，再用低温 softmax 和相对平均权重强调较相关的记录。 3. Adaptive compression：结合当前步数相对预期 horizon、上一轮 context 相对 token budget 的占用计算 pressure；提高 full/detailed/brief 的选择阈值，按原顺序组装历史表示，并保留最近交互的完整内容。 4. Recovery 与评估：agent 每步可有限次调用 glimpse 获取指定 chunk 原文，返回内容计入下一步 budget；若异步 summary 尚未就绪，则按预算回退到原文或 placeholder。实验跨多种 web/deep-research benchmarks 比较成功率、context 增长及各组件 ablation。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1252.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1252.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1252.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1252.pdf#page=5) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1252.pdf#page=7) 核读章节：Methodology · Predictive Attention with Adaptive Compression · Implementation Details · Context Growth Analysis 依据正文 embedding、granularity selection、pressure thresholds 与 glimpse 机制整理；没有将摘要中的最长交互步数推广为任意任务都可稳定达到的 horizon 保证。 ### Powering Verifiable Learning via Automated Evolutionary Data Synthesis ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1099/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d106/) #### Idea EvoSyn 不仅合成 problem 和 solution，还生成多个 executable testing artifacts，并用演化得到的 ranking program 选择更有区分力的 tests。少量带人工 checks 的 seed data 用于评价 ranking strategy 是否可靠，随后该 strategy 被用于新任务的数据合成与过滤，产出可支持 RLVR 和 model distillation 的训练实例。 #### Research Problem Synthetic data 的 verifier 自身也会出错：测试可能接受所有候选、遗漏边界或错误拒绝正确解。只用一个 LLM judge 或领域专用 heuristic 很难同时确保可靠性与可迁移性。论文研究如何从 solution-test execution matrix 中学会选择有效 checks，减少手工编写不同任务过滤规则的依赖。 #### Insight Verifier 的质量体现在能否区分不同水平的 solutions，而非通过率越高越好。用 human-annotated seed tests 检查演化策略的排序行为，能够为 synthetic verification 提供外部锚点。但 EvoSyn 适用于 correctness 可由 executable artifacts 判定、且 artifacts 可在未知正确解时编写的任务；有限候选上的 consistency 不是对所有未来程序的完备性证明。 #### Method 1. Seed evaluation：对带人工 testing 的问题生成多份 solutions 和候选 tests，执行交叉检查；策略输出 ranked solutions/tests，评估要求 top solution 通过人工 checks，并要求最好和最差 solutions 在选中 tests 与人工 tests 上行为一致。 2. Strategy evolution：用 MAP-Elites 与 island populations 保存候选 ranking programs；LLM 参考 parent 和 elite programs 生成代码修改，执行 evaluator 后把得分与程序写回 population，兼顾效果及多样性。 3. Data synthesis：以 seed examples 引导生成新 problems，去重后为每题生成 M 个 solutions 和 N 个 tests，运行 M×N 次检查，再用演化策略排序；Zero-Variance Pruning 去除无法产生排序差异的实例。 4. Downstream learning：保留 problem、selected checks 及强 candidate solutions，分别用于 RLVR reward 或 distillation 数据；在 LiveCodeBench 与 AgentBench-OS 比较 random filtering 和其他验证策略，并分析候选数量带来的合成成本。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1099.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1099.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1099.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1099.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1099.pdf#page=6) 核读章节：Methodology · Deriving data filtering strategy · Data synthesis and filtering · Model training · Evolutionary Process 已核读适用条件、两个 consistency criteria、Algorithm 1 和 Zero-Variance Pruning。未将 minimal seed supervision 表述为完全无需人工验证数据。 ### PRInTS: Reward Modeling for Long-Horizon Information Seeking ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1574/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a63/) #### Idea PRInTS 将 generative Process Reward Model 同时训练为 scorer 和 trajectory summarizer：前者评估候选 reasoning + tool call 对任务成功的潜在贡献，后者递归保留历史中的关键发现和计划。推理时用紧凑 summary 与最新 tool response 为多个候选步骤评分，选取最高分步骤，引导不同 backbone 的 information-seeking agent。 #### Research Problem 面向数学短推理的 binary PRM 难以评价长程信息搜集中的复杂步骤：逻辑是否合理、是否正确解释 tool output、下一次调用是否有用都影响结果。同时，完整搜索历史不断增长，既增加 scorer 成本，也让无关信息干扰判断。论文研究如何获得细粒度 step quality 监督，并在长 context 下保持评估有效性。 #### Insight 一个步骤是否有价值，可以通过它改变后续成功概率的幅度来估计，而不只检查局部文字是否正确。这里的 information gain 是 Monte Carlo rollout 所估计的 answer success 增益，并非直接计算 Shannon entropy。将 summary 能力与 scoring 能力结合，则让 PRM 的输入围绕累积证据与待解问题组织；其质量仍受到 rollout policy、有限采样与 summary 信息损失的限制。 #### Method 1. 标注 step gain：从 trajectory prefix 和加入候选 reasoning/tool call 后的状态分别继续多次 rollout，以最终答案正确率之差构造 information gain score，并作离散尺度归一化。 2. 构建 preference pairs：先从成功 trajectory 的下一步与其他随机候选形成对比，再分别重新 rollout 估计 gain；按实际 gain 重新决定 winning/losing label，避免把一次成功直接当成可靠的 step ranking。 3. 训练 scorer：给模型 query、历史 summary、最新 tool response 与候选步骤，要求生成 analysis 和 scalar score；GRPO reward 结合 score estimation 与 pairwise comparison，并按标注分差调整 comparison 权重，减弱接近分数的噪声。 4. 训练与使用 summarizer：以递归更新的 trajectory summaries 作 SFT，使同一 PRM 保留关键发现与计划；部署时执行 step-level best-of-n selection，不改动底层 agent weights。评估覆盖 FRAMES、GAIA 与 WebWalkerQA，并比较不同 agent backbones。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1574.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1574.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1574.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1574.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1574.pdf#page=6) 核读章节：Process Reward via Information Gain Score and Trajectory Summarization · Step-level Information Gain Estimation · Info-seeking Summary Generation · Experiments 核读了 gain 定义、pair 标注、GRPO reward 与 summary SFT。Insight 中关于有限 rollout 和 summary 损失的限定为分析性归纳；不将该方法描述为使用真实信息熵或无监督 reward。 ### ProActor: Timing-Aware Reinforcement Learning for Proactive Task Scheduling Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.832/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e102/) #### Idea ProActor 把 proactive task scheduling 建模为每个 dialogue turn 上选择 action、参数和 readiness status 的决策，使用可接受的 opportunity windows 而非单一触发时刻作为参考。框架结合自动标注、timing 与 action consistency metrics，以及 turn-level GRPO，训练 agent 在信息足够时提前准备动作，同时控制误触发。 #### Research Problem 对话中的主动行为通常有多个合理时机，直接模仿一个历史 timestamp 会惩罚有效的提前行动。仅优化参数匹配可能让 agent 过于保守，仅奖励主动性又可能鼓励 premature triggering。论文研究如何获得可扩展的 timing supervision，并在长对话中提供清晰的 credit assignment，平衡什么时候做与做什么。 #### Insight Proactivity 需要同时检查 action alignment 和 readiness，早并不自动等于好。Hindsight annotator 可以利用后续对话发现潜在机会，但其输出只是 reference actions，不能等同于唯一 ground truth，也不意味着部署中的 policy 能看到未来。Stage-aware composite rewards 的作用是调节探索、时机与一致性的训练重点，避免单一指标支配行为。 #### Method 1. 自动标注：用统一 JSON metadata 描述 MCP、REST API 和 sub-agent 等 action interfaces，生成 action catalog；oracle LLM 读取完整 conversation，逐 turn 分析 opportunity、readiness、parameters 和 quality，形成 reference action ranges。 2. 指标设计：用 AC 与 Max AC 衡量 action/parameter alignment，用 Proactive Timing、Fault Trigger Rate 和 Ready Action Rate 描述触发时机；分别检查提前行动、无参考覆盖的 ready actions 以及过度保守行为。 3. Turn-level RL：每个 dialogue turn 采样多组 candidate actions，按 metric reward、带 proactiveness rubric 的 RULER reward 或 composite reward 计算优势，执行 GRPO；adaptive variants 随训练阶段调整 timing 和 consistency 的权重。 4. 训练系统与验证：ART-F 用 adaptive vLLM inference cluster、异步 payload distribution 与 DDP 改善 rollout/training 资源分配，对 4-bit Qwen2.5-14B 做 LoRA RL；在含历史动作的 ABCD+ 和不含动作记录的 Home Loan 对话数据上评估。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.832.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.832.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.832.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.832.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.832.pdf#page=6) 核读章节：Domain-Agnostic Automated Annotation Pipeline · Proactiveness Metrics · Reinforcement Learning Optimization · Efficient Training Framework: ART-F · Experiments 已核读 annotation 的 future-turn access、turn-level rewards 与 ART-F，明确区分标注阶段与部署可用信息。笔记概括 reward families，未将其中一个 adaptive variant 写成所有实验的唯一配置。 ### RSMeM: Knowledge-Enhanced Memory Evolution for Remote Sensing Agents with Systematic Evaluation ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1519/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a61/) #### Idea RSMeM 为 remote-sensing agent 同时提供 task-level domain guidance 与 instance-level corrective experience。前者来自专家整理的 hierarchical knowledge base，后者来自同一实例先前失败轨迹的 reflection；两路信息进入 ReAct prompt，帮助 agent 修正领域概念、tool selection 和执行顺序，并在重试过程中更新 memory。 #### Research Problem 通用 LLM 即使能生成合法 tool calls，也可能混淆 remote-sensing variables、使用不适合的分析流程，导致局部错误逐步传递。固定专家 workflow 缺乏灵活性，而普通 memory 又未必保留领域知识和明确修正方案。论文研究如何连接离线知识与在线 failure traces，改善多步骤工具执行和最终答案。 #### Insight Domain guidance 解释任务应该怎样做，failure reflection 解释这一次为什么没做好，两者提供不同粒度的约束。正文中的 Failure-Aware Memory 使用 deterministic instance-indexed lookup，主要指导同一实例后续 attempts，不能直接描述为跨任意新任务的 semantic experience retrieval。无 ground-truth 的 symbolic critic 也只是识别若干可见失败模式，并不保证检测全部语义错误。 #### Method 1. Knowledge base：专家将 geoscience knowledge 整理为 3 domains、12 subdomains 和 64 atomic tasks，每个 Task Card 包含 title、domain definition 与 execution suggestions。 2. Dual-stream grounding：Hierarchical Knowledge Grounding 结合 sentence-embedding cosine similarity 和 title/domain-keyword/content 的 lexical bonuses 检索 Task Card；另一条 stream 取当前 instance 最新的 reflection，连同 query 拼入 agent prompt。 3. Failure processing：symbolic critic 通过 missing answer tags、empty output、invalid options、refusal/incompleteness 与 hedging 等 heuristic rules 识别问题；GeoTraceCompress 对 list/dictionary tool outputs 截短，保留完整 reasoning 并提高 errors 的保留预算。 4. Experience refinement：同 backbone 的 Reflection Generator 读取 query、domain guidance 与压缩 trace，生成包含 diagnosis 和 corrective plan 的短 reflection，写入该 instance 的 memory 供下一轮使用；在 Earth-Bench 比较 tool-use trajectory、outcome、efficiency 与 HKG/FAR ablations。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1519.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1519.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1519.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1519.pdf#page=5) · [PDF p. 8](https://aclanthology.org/2026.acl-long.1519.pdf#page=8) 核读章节：Hierarchical Knowledge Base Construction · Dual-Stream Online Grounding · Iterative Experience Refinement · Memory Evolution and Iterative Effects · Case Study 依据正文检索公式、instance-indexed FAM、critic rules 与 reflection 流程整理；明确该在线 memory 的使用粒度，未把重试收益推断为已证明的跨任务迁移。 ### SPARK: Strategic Policy-Aware Exploration via Dynamic Branching for Long-Horizon Agentic Learning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1100/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e128/) #### Idea SPARK 把 long-horizon agent RL 的 rollout 从互不共享的完整 chains 改为在关键状态分叉的 trajectory forest。模型通过 reasoning 中的 <explore> tag 表达需要额外探索的时机，采样器据此扩展多个 continuations，并在固定 leaf budget 内收集完整 trajectories，再使用 GRPO 风格目标更新 policy。 #### Research Problem 长程任务成功轨迹稀疏，但直接增加独立 rollouts 会反复计算大量例行步骤，未必在决定任务成败的分岔处尝试足够多的行动。问题是如何让有限采样预算集中于值得探索的状态，同时避免依赖人为列出的关键步骤，并保持与现有 agent RL training pipeline 兼容。 #### Insight 在同一历史状态之后采样多个 alternatives，可以更直接地比较关键决策，而共享 prefix 减少了重复执行。SPARK 的核心改动是 exploration allocation，并未引入新的 dense reward 或独立 value model。<explore> 是通过 cold-start SFT 和后续 RL 学到的显式信号，不能视作经过校准的 epistemic uncertainty 测量；理论覆盖分析也依赖关键状态和采样概率等简化条件。 #### Method 1. Cold start 与 roots：先用 300 条 trajectories 做 SFT，使模型具备生成 <explore> 的初始能力；每个任务从初始状态采样多个不同 reasoning-action roots，建立探索多样性。 2. Dynamic branching：每步检查 reasoning trace 是否出现 <explore>；存在时从当前更新后的 history 采样 B 个 continuations，否则沿单一 chain 继续，所有 child trajectories 共享此前 prefix。 3. Budget enforcement：根据当前 active leaves 与总 budget 调整有效 branching factor；到达 terminal state 或最大 horizon 后结束。正文默认 rollout budget 为 8、initial roots 为 4、branching factor 为 2。 4. Policy update：把同一任务的 completed leaf trajectories 组成 group，按 binary terminal reward 计算 group-normalized advantages，以 clipped objective 和 reference-policy KL 训练。实验在 ALFWorld、ScienceWorld 与 WebShop 比较成功率、采样效率及未见场景表现。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1100.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1100.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1100.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1100.pdf#page=5) 核读章节：Dynamic Branching Exploration · Theoretical Perspective on SPARK · Experimental Settings 依据正文 Algorithm 1、branching criterion、budget constraint 和 implementation details 整理；未把训练用的 branching forest 推断为部署时必需的 search。关于 uncertainty calibration 的表述是笔记限定。 ### SPIO: Ensemble and Selective Strategies via LLM-Based Multi-Agent Planning in Automated Data Science ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1039/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e122/) #### Idea SPIO 在 automated data science 的 preprocessing、feature engineering、model selection 和 hyperparameter tuning 四个阶段提出多个候选 plans，再由 optimization agent 组合选择。SPIO-S 输出一个完整 pipeline，SPIO-E 选择多个 paths 分别生成和执行代码，再融合 predictions，以增加策略多样性并减轻单一路径的偶然失败。 #### Research Problem 许多 LLM data-science workflows 虽然分配了多个 agent，仍沿固定的单一路径前进，早期 preprocessing 或 feature choice 会限制后续模型空间。问题是如何结合数据描述、已生成代码和 validation feedback，在每个阶段提出替代策略，并以可执行的完整 pipeline 而非彼此孤立的局部建议完成优化。 #### Insight Multi-agent 的主要收益可以来自显式保留不同 solution paths，而非仅把固定步骤交给不同角色。Sequential planning 用先前 plans 约束后续建议，ensemble 则利用不同完整 pipelines 的互补性。这里的 best/top-k selection 由 LLM 根据中间信息判断，并非穷举所有组合后证明最优；提升也需要与新增 code execution 和 ensemble 开销一起理解。 #### Method 1. Baseline generation：输入 Data Description 与 Task Description，依次为四个模块生成可执行代码；preprocessing/feature engineering 返回处理后数据描述，modeling/tuning 返回代码及 validation score。 2. Sequential planning：每个模块的 planning agent 读取当前代码、输出描述或 validation score，以及之前已提出的 candidate plans，生成若干替代策略，使后续选择能考虑跨阶段依赖。 3. SPIO-S：optimization agent 汇总各模块候选和任务信息，选定一个 solution path，再由 code generation model 将所选 plan 转为最终 pipeline 并执行，产生预测文件。 4. SPIO-E 与协议：选择 top-k plans，分别生成完整代码；classification 用 soft voting，regression 对 predictions 求均值。正文实验每模块最多两个候选、ensemble 取两条路径，使用 Kaggle/OpenML 的 validation split 做规划，test/leaderboard split 用于最终评估。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1039.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1039.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1039.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1039.pdf#page=5) 核读章节：Methodology · Sequential Planning Agent · SPIO-S: Single-Path Selection · SPIO-E: Ensemble of Sequential Paths · Experiments 依据正文 equations 与数据划分整理，保留 LLM-driven selection 和 validation feedback 的区别。Insight 的最优性与计算开销限定是笔记分析，未声称执行了 exhaustive search。 ### The Bitter Lesson of Diffusion Language Models for Agentic Workflows: A Comprehensive Reality Check ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2036/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a76/) #### Idea 论文系统检验 diffusion LLMs 在 embodied interaction 与 tool calling 中的能力，并用 DiffuAgent 将它们分别替换进 memory、early-exit verification、tool selection 和 format editing 模块。通过整体 agent 与局部模块两层实验，区分 decoding throughput 的收益、连续决策失败和不同角色的适配程度。 #### Research Problem Parallel denoising 带来的 token generation 加速是否能转化为可靠的 agent execution 尚不清楚：连续行动需要利用前序 feedback 改变计划，tool calls 又要求精确 schema 和 parameters。论文研究当前 dLLMs 的错误集中在哪里，以及即使不适合作为整条 agent loop 的 backbone，是否仍能承担部分功能。 #### Insight 更高 throughput 不保证更高 task success。实验中的 repeated-action loops、JSON schema 和 parameter errors 表明，需要同时衡量 temporal decision consistency 与 symbolic precision。作者将这些现象联系到 denoising 的非自回归特征，但这是基于所测模型与设置的解释，不能推广成 diffusion 架构永远无法做 agents；模块替换也显示 memory/selector 等角色更有潜力，效果取决于具体 backbone 组合。 #### Method 1. 统一评测：比较 LLaDA-8B、Dream-7B、Fast-dLLM-7B 与 DVar-8B，以及 Qwen/Ministral autoregressive baselines；在 AgentBoard 的 ALFWorld、ScienceWorld、BabyAI 和采样后的 BFCL-v3 上测 success/progress 与 tool-call correctness。 2. Failure analysis：将连续超过三步重复同一动作定义为 retry loop；用 AST evaluation 区分 schema、parameter/value 与 wrong-function errors，同时报告 throughput，分析效率与完成能力是否一致。 3. DiffuAgent modules：在 embodied agents 中每隔若干步生成 memory summary，并用 verifier 判断是否陷入 deadlock；在 tool calling 中先筛选 tool subset，再用 editor 修复 JSON format，后者原则上不改变选定 function 或 parameters。 4. 对照与边界：逐一替换模块 backbone，并测试 decoding optimization、AR feedback 和 schema guardrails 等补救方法。正文 BFCL 只取每类至多 50 个实例，single-turn average 还排除 hallucination categories，因此不能直接等同完整官方榜单分数。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2036.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2036.pdf#page=3) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2036.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2036.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.2036.pdf#page=7) · [PDF p. 9](https://aclanthology.org/2026.acl-long.2036.pdf#page=9) 核读章节：Experimental Setup · Failure of Precision · Failure of Efficiency-Performance Trade-off · Extended Validation · DiffuAgent · Analysis of Agentic Behaviors in dLLMs 依据评测范围、failure definitions 与模块实现整理，保留 BFCL sampling/aggregation 的差异。关于非自回归特征的讨论标为作者解释，未声称已经隔离训练数据和模型规模等全部混杂因素。 ## 07 · 具身 / 导航 / 游戏 31 篇 · CVPR 17 · ACL 14 ### SAGE: Scalable Agentic 3D Scene Generation for Embodied AI CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xia_SAGE_Scalable_Agentic_3D_Scene_Generation_for_Embodied_AI_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c108/) #### Idea SAGE 根据 embodied task 自动生成 simulation-ready 3D scenes。Agent 通过 MCP 调用 scene generation 与 editing tools，并依据 visual critic 和 physics critic 的反馈迭代修改；再扩展场景、生成 robot demonstrations，供 downstream policy learning 使用。 #### Research Problem Embodied learning 需要可交互且多样的训练环境，而真实数据采集成本高。已有 scene generators 往往只能生成语义上看似合理的布局，缺少 object-level physical properties 和 simulator validation，因而可能存在碰撞、悬浮或不稳定 placement，无法直接用于机器人训练。 #### Insight Simulation readiness 应在 generation loop 中持续检查，而不是生成完毕后才验证。Visual critic 判断任务所需物体与空间关系，physics critic 检查实际 stability，两者提供互补约束；在维持 task semantics 的条件下扩展 object 与 layout diversity，才能把生成场景变成训练数据。 #### Method 1. Scene Initializer 根据 task description 创建 room 与 object proposals；Asset Placer 用 TRELLIS 生成 assets，估计尺寸、mass 和 PBR properties，并用带 collision avoidance 的搜索满足 floor、wall 或 on-top placement constraints。 2. Agent 经 MCP 动态选择 Placer、Mover、Remover 等工具。Visual critic 读取 scene configuration 与多视角 renderings，指出缺失对象、错误位置及语义问题。 3. 每次编辑后载入 Isaac Sim，通过 pose changes 和 collision checks 检查稳定性；失败时把调整尺寸或位置等建议交回 Agent，重新生成或放置。 4. 对 task-relevant objects 的 pose、geometry / texture 和背景 layout 分层 augmentation，重复 physics validation；随后用 M2T2、Curobo、RRT 生成并筛选 demonstrations，再以 Diffusion Policy 做 imitation learning。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xia_SAGE_Scalable_Agentic_3D_Scene_Generation_for_Embodied_AI_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xia_SAGE_Scalable_Agentic_3D_Scene_Generation_for_Embodied_AI_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xia_SAGE_Scalable_Agentic_3D_Scene_Generation_for_Embodied_AI_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xia_SAGE_Scalable_Agentic_3D_Scene_Generation_for_Embodied_AI_CVPR_2026_paper.pdf#page=5) 核读章节：Agent-driven Scene Generation · Scaling the Scene for Embodied AI · Policy Learning 依据正文的 tool orchestration、critics 与数据扩展流程整理；estimated physical properties 不等同于真实资产的精确物理测量。 ### AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Guo_AwareVLN_Reasoning_with_Self-awareness_for_Vision-Language_Navigation_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c15/) #### Idea AwareVLN 用同一 VLM 生成导航动作和结构化 self-aware reasoning，在 subtask completion、path deviation 与 stopping error 等关键时刻解释所处场景、完成进度和下一步意图。Reasoning 的最近结果回到后续决策上下文，使导航状态可以被显式检查与修正。 #### Research Problem 直接由 RGB 和指令预测动作的端到端 VLN 缺少对自身进度及路线偏差的明确表达。显式地图方法能提供规划结构，却常依赖 depth、pose 和 SLAM。需要仅用单目 RGB 的推理机制，同时避免每步长思考带来的执行开销。 #### Insight 导航中的重要推理通常发生在语义阶段切换或实际观察偏离预期之时。稀疏触发的 scene–progress–plan 三元结构把当前感知与指令进度连接，比自由描述更能约束下一行动，并可用模拟器中可获得的空间信息生成训练监督。 #### Method 1. 统一 policy 读取 instruction、均匀采样的观察 history、上一次 reasoning 及距离该 reasoning 的步数，以特殊 token [REASON]/[ACT] 选择模式。ACT 输出运动文本并解析为 forward、turn、stop primitives，REASON 更新持久的最近 reasoning。 2. Reasoning 按 scene description、progress assessment、next-step plan 顺序生成，在子任务结束、走偏或终点判断错误时解释并调整，不为每个低级动作重复完整推理。 3. Automatic Data Engine 在 Habitat 中结合 expert following 与 DAgger trajectories，利用 room-category changes、ground-truth waypoints 和偏差阈值识别关键节点，并保存纠偏过程观察。 4. Qwen-VL-Max 先读取完整 episode，再按节点读取历史画面、room transition、进度及纠偏信息生成监督。模型预训练混合导航与 VQA，随后用 reasoning-augmented trajectories 和额外人类视频微调；推理只依赖 RGB，不访问训练时的 simulator state。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Guo_AwareVLN_Reasoning_with_Self-awareness_for_Vision-Language_Navigation_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Guo_AwareVLN_Reasoning_with_Self-awareness_for_Vision-Language_Navigation_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Guo_AwareVLN_Reasoning_with_Self-awareness_for_Vision-Language_Navigation_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Guo_AwareVLN_Reasoning_with_Self-awareness_for_Vision-Language_Navigation_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Guo_AwareVLN_Reasoning_with_Self-awareness_for_Vision-Language_Navigation_CVPR_2026_paper.pdf#page=6) 核读章节：Framework of AwareVLN · Unified Reason-act Framework · Structural Reasoning for Self-awareness · Automatic Data Engine · Training and Inference 依据正文 formulation、方法与实验设置整理。 ### BridgeEQA: Virtual Embodied Agents for Real Bridge Inspections CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Varghese_BridgeEQA_Virtual_Embodied_Agents_for_Real_Bridge_Inspections_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c19/) #### Idea BridgeEQA 用真实桥梁巡检报告构造需综合多视角证据的 embodied question answering，并要求答案给出 condition ratings 与 image citations。配套方法 EMVR 将图像集合组织成 navigable scene graph，让 VLM 按问题移动、比较和查看相关照片，避免一次把全部图像放入上下文。 #### Research Problem 常见 EQA 任务偏向小空间中的物体计数和相对位置，未充分覆盖真实巡检的长距离结构关系、全桥到局部损伤的多尺度判断以及专业评级。只测答案文字也无法区分是否找到支持结论的照片。大量无序 inspection images 同时输入会增加上下文负担，缺少有目标的证据探索。 #### Insight 报告中的专家评价和照片引用提供了可追溯监督，而 scene graph 能把 episodic image memory 变为可主动探索的证据空间。由于多组照片都可能支持同一结论，citation evaluation 应比较语义相关性而非仅要求精确匹配预设 image IDs。 #### Method 1. 从 VTrans PDF reports 做报告、页面和图像过滤，选择 200 座桥梁的 9586 张照片。Gemini parsers 提取 inspector notes、照片对应和 NBI ratings，经自动校验及人工审核生成 2200 个 QA pairs。 2. 使用 VLM 从图像建立 scene graph，每个 node 保存 image name、central focus 和 description，edges 表达总览/细节、结构支承、邻接、条件相似或部件从属关系，不依赖 GPS。 3. EMVR 初始只读取完整 graph structure 和语义描述，随后调用 MOVE 访问相邻 node、COMPARE 联合多图、REASON 检查单图细节，最后 RESPOND 输出回答、引用照片与评级。 4. 评价 NBI rating 的 exact match 和允许正负一档的 accuracy。Image Citation Relevance 由 VLM 联合 question、ground-truth answer、参考图和 agent citations 评分，参考图是有效例子而非唯一答案，并对极端过量引用设惩罚。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Varghese_BridgeEQA_Virtual_Embodied_Agents_for_Real_Bridge_Inspections_CVPR_2026_paper.pdf#page=1) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Varghese_BridgeEQA_Virtual_Embodied_Agents_for_Real_Bridge_Inspections_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Varghese_BridgeEQA_Virtual_Embodied_Agents_for_Real_Bridge_Inspections_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Varghese_BridgeEQA_Virtual_Embodied_Agents_for_Real_Bridge_Inspections_CVPR_2026_paper.pdf#page=6) 核读章节：3.1. Inspection EQA Problem Class · 3.2. Scene Graph Formulation · 3.3. Embodied Memory Visual Reasoning · 3.4. Condition Rating Accuracy · 3.5. Image Citation Relevance · 4.1. Dataset Construction 依据正文 benchmark、graph policy 与评价设计整理。此处 virtual embodiment 是在既有巡检图像的图结构中导航，不能等同于真实桥梁上的物理机器人探索。 ### Context-Nav: Context-Driven Exploration and Viewpoint-Aware 3D Spatial Reasoning for Instance Navigation CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Jang_Context-Nav_Context-Driven_Exploration_and_Viewpoint-Aware_3D_Spatial_Reasoning_for_Instance_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c23/) #### Idea Context-Nav 用完整自然语言描述同时引导全局探索与候选实例验证。它在线建立 context-conditioned value map 和 instance-level 3D map，先走向符合颜色、上下文对象及空间关系的区域，再通过 intrinsic VQA 和 viewpoint-aware 3D predicates 确认是同类别中的指定对象。 #### Research Problem Instance navigation 不能只找到任意同类物体。已有方法常把长描述压缩成类别或短属性，探索被早期检测误导；而 left / behind 等关系取决于描述者未知视角，直接用当前相机坐标或无视角规则容易错误停止。 #### Insight 上下文不只是看到候选后的过滤条件，也可以提供尚未发现目标时的探索先验。对于空间描述，应检验是否存在一个合理观察视角使全部关系同时成立，这比对每条关系分别寻找解释更能排除语义似是而非的实例。 #### Method 1. 解析目标与 context 名词并规范类别，用 open-vocabulary detector、segmenter 和类别相关验证获得对象观测，再由 depth / pose 投影成点云。先按中心邻近、再按 voxel overlap 融合实例，另以 RANSAC 垂直面建立 wall-only room map。 2. GOAL-CLIP 编码完整目标及属性上下文，投影图文相似度到俯视 value map，选择高分 frontier；若已见目标但同房间 context 未见，可一次性转向房间内最近未探索 frontier，底层调用现成 PointNav。 3. Intrinsic verification 对每个属性生成多个 yes/unknown/no VQA，框出候选供 VLM 判断；不确定时记录后续五帧，取图文相似度最高帧重新询问，避免立即拒绝。 4. Extrinsic verification 先按房间和距离筛 context pairs，再围绕关系中心采样多半径、多方位 observer poses，建立 viewpoint-aligned 坐标，检验 left/right/front/behind/near/above/below。只有同一有效 viewpoint 同时满足所有关系才接受目标，否则继续探索。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Jang_Context-Nav_Context-Driven_Exploration_and_Viewpoint-Aware_3D_Spatial_Reasoning_for_Instance_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Jang_Context-Nav_Context-Driven_Exploration_and_Viewpoint-Aware_3D_Spatial_Reasoning_for_Instance_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Jang_Context-Nav_Context-Driven_Exploration_and_Viewpoint-Aware_3D_Spatial_Reasoning_for_Instance_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Jang_Context-Nav_Context-Driven_Exploration_and_Viewpoint-Aware_3D_Spatial_Reasoning_for_Instance_CVPR_2026_paper.pdf#page=5) 核读章节：Problem formulation · Perception and Online 3D Mapping · Context-Driven Exploration · Instance Verification 依据地图、探索和几何验证正文整理。training-free 指不做任务专项训练，系统仍使用已有 GOAL、感知模型和导航 policy。 ### Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Peng_Counterfactual_VLA_Self-Reflective_Vision-Language-Action_Model_with_Adaptive_Reasoning_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c24/) #### Idea CF-VLA 在 autonomous driving VLA 内部加入 meta-actions → counterfactual reasoning → corrected meta-actions → trajectory 的自我修正流程。模型先明确提出带时间的驾驶意图，再结合视觉场景批评该意图的可能后果，必要时修正后才生成最终轨迹。 #### Research Problem 现有 reasoning-augmented VLA 多描述看见什么和打算做什么，错误计划仍可配上合理叙述，缺少执行前针对自身 action 的反思。始终开启长 reasoning 又会浪费简单场景计算并增加幻觉，因此还需识别哪些错误真正来自高层意图、在哪些场景值得思考。 #### Insight 可解释且与轨迹紧密对齐的 time-segmented meta-actions 为反思提供可编辑对象。比较自由预测与填入 expert meta-actions 后的轨迹，可以定位“意图错、但执行解码本可做对”的样本，从而把监督集中到反思最可能带来收益的位置。 #### Method 1. 用 longitudinal、lateral、lane-level 三组 meta-actions 覆盖 6.4 秒规划区间，每组动作按不重叠时间段表达，如减速后等待或保持车道后变道，使语言计划与连续轨迹的时序对应。 2. Rollout–filter–label pipeline 对同一 scene 生成自由 meta→trajectory 与 ground-truth-meta-conditioned trajectory，各采多个 modes。筛出 pre-filled minADE 更好且自由误差超过阈值的场景，避免给已掌握或低层解码瓶颈场景强加反思。 3. 用 Qwen2.5-VL-72B teacher 解释预测 meta-actions 为什么不如 expert plan、应怎样调整，形成 CF 数据。分阶段训练 trajectory-only、加入 meta-action labels、再混合 CF samples，统一 prompt 下由 Action:/Thinking: 的生成决定是否反思。 4. 训练以 assistant token cross-entropy 为主，对 CF 样本原始错误 meta-action block mask loss，防止模仿错误，并对 meta/reasoning/trajectory token 设权重。更新后的模型重新 rollout 可继续采集新反思样本，评价轨迹误差、安全特征及 think rate。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Peng_Counterfactual_VLA_Self-Reflective_Vision-Language-Action_Model_with_Adaptive_Reasoning_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Peng_Counterfactual_VLA_Self-Reflective_Vision-Language-Action_Model_with_Adaptive_Reasoning_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Peng_Counterfactual_VLA_Self-Reflective_Vision-Language-Action_Model_with_Adaptive_Reasoning_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Peng_Counterfactual_VLA_Self-Reflective_Vision-Language-Action_Model_with_Adaptive_Reasoning_CVPR_2026_paper.pdf#page=5) 核读章节：Self-Reflective Counterfactual Reasoning · Meta-Actions · Rollout-Filter-Label Counterfactual Pipeline · Implementation Details · Experimental Setup 依据正文数据筛选、loss masking 和 adaptive reasoning 机制整理。本文在驾驶数据上评价预测轨迹，未将报告的 safety metrics 等同于真实道路部署安全证明。 ### DecoVLN: Decoupling Observation, Reasoning, and Correction for Vision-and-Language Navigation CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xin_DecoVLN_Decoupling_Observation_Reasoning_and_Correction_for_Vision-and-Language_Navigation_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c28/) #### Idea DecoVLN 解耦持续 observation、动作 reasoning 和 corrective fine-tuning，以紧凑历史记忆支持长程 vision-and-language navigation。Adaptive Memory Refinement（AMR）按指令相关性、视觉差异和时间覆盖选择帧，而纠错阶段只收集与专家轨迹仍相关的偏离状态，减少误差累积与训练污染。 #### Research Problem Stop-and-Think 导航在动作期间缺少连续感知，可能漏掉关键线索；全历史 streaming 或固定抽帧又造成冗余和时序信息稀释。已有 imitation correction 若收集偏离过大的状态，会把与原指令弱相关的动作加入训练，妨碍有效恢复策略的学习。 #### Insight 好的 navigation memory 既要保留目标相关场景，也要避免视觉和时间上的重复，三者需要共同权衡。纠错监督的价值取决于当前状态离原任务轨迹有多远，因此应在 state-action 粒度定义可信区域，而不是保留或丢弃整个 episode。 #### Method 1. Agent 移动时持续获取 RGB frames，AMR 从候选历史池逐次选择 K 个 memory frames。score 奖励 frame-instruction embedding cosine similarity，并惩罚与已选帧的最大视觉相似度及时间接近程度。 2. 推理使用 instruction、memory bank 和最近四帧，基于 LLaVA-Video-7B 自回归预测包含四个连续动作的 action chunk。默认 memory size 为八，在固定容量内保留更广且相关的历史。 3. 先用 Matterport3D 中 R2R-CE、R2R-Envdrop、RxR-CE 的 oracle trajectories 训练导航，再让当前 policy rollout。每步计算到专家路径最近状态的 geodesic distance，作为 deviation metric。 4. 偏离大于零但未超过阈值时，查询 Habitat shortest-path follower 获取 corrective action 并保存 state-action-observation；超过阈值即终止该轮收集。纠错微调混入 LLaVA-Video-178K，以保留基础 multimodal reasoning 能力。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xin_DecoVLN_Decoupling_Observation_Reasoning_and_Correction_for_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Xin_DecoVLN_Decoupling_Observation_Reasoning_and_Correction_for_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xin_DecoVLN_Decoupling_Observation_Reasoning_and_Correction_for_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xin_DecoVLN_Decoupling_Observation_Reasoning_and_Correction_for_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xin_DecoVLN_Decoupling_Observation_Reasoning_and_Correction_for_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=5) 核读章节：3.2. Observation and Reasoning · 3.3. Corrective Fine-tuning · Algorithm 1 Correction Data Collection · 4.1. Datasets and Evaluation Metrics · 4.2. Implementation Details 依据正文 AMR objective、纠错算法与实现细节整理。trusted region 是训练数据筛选规则，运行时输入仍是 RGB 与历史，并非始终可访问专家路径的导航器。 ### Experience Transfer for Multimodal LLM Agents in Minecraft Game CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Li_Experience_Transfer_for_Multimodal_LLM_Agents_in_Minecraft_Game_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c41/) #### Idea Echo 将 Minecraft agent 的记忆从被动存放旧轨迹，改成主动寻找可迁移规律的 Contextual State Descriptor（CSD）库。经验按 structure、attribute、process、function、interaction 五个轴组织，In-Context Analogy Learning（ICAL）检索相似案例、提出尚未执行的新任务，再用实际执行验证类比。 #### Research Problem 只检索相近成功轨迹辅助当前规划，难说明哪些因果、结构或材料规律可迁移到新目标。开放环境中的状态转移与作用机制不同，表面相似不能保证动作有效，MLLM 自由类比又可能产生不可执行的计划或虚构规律。 #### Insight 可迁移经验不只是完整 action sequence，而是对象布局、属性替代、过程依赖、功能和交互反馈之间的对应。将这些维度显式保存并检索，可让类比有具体依据；但推断出的新 recipe 仍是待验证候选，成功执行才应写入长期记忆。 #### Method 1. CSD 用 metadata 加 struct、attr、proc、func、inter 六部分统一环境状态、视觉描述和执行历史，同时保留 symbolic content 与 embeddings。先通过结构化任务、轨迹和 verifier feedback 做 instruction tuning，提高 CSD 格式与一致性。 2. 将成功任务写入长期库，离线执行 consolidation、清理、去重与聚类。选择近期学会或代表性任务，按五轴语义相似度检索 top-K exemplars，形成类比上下文。 3. 参数冻结的 MLLM 根据这些例子提出新任务 action sequences，并生成 hierarchical plan 与 self-verification assertions；pre-checker / verifier 检查资源、位置、逻辑一致性和可行性。 4. 执行器落实计划并记录 observation，失败进入日志和 error recovery，成功则更新任务管理器与长期 CSD。循环进行经验积累、规律抽取和主动 task discovery，在 from-scratch object unlocking 中测学习速度。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Experience_Transfer_for_Multimodal_LLM_Agents_in_Minecraft_Game_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Experience_Transfer_for_Multimodal_LLM_Agents_in_Minecraft_Game_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Experience_Transfer_for_Multimodal_LLM_Agents_in_Minecraft_Game_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Experience_Transfer_for_Multimodal_LLM_Agents_in_Minecraft_Game_CVPR_2026_paper.pdf#page=5) 核读章节：Explicit Transfer Dimensions · Contextual State Descriptor · ICL-Based Analogical Learning · Overall Iterative Process · Transfer System Formalization 依据 CSD schema、ICAL 工作流和 verifier / executor 正文整理。五轴是作者提出的组织框架，未将其称为已证明完备的迁移理论。 ### FantasyVLN: Unified Multimodal Chain-of-Thought Reasoning for Vision-and-Language Navigation CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zuo_FantasyVLN_Unified_Multimodal_Chain-of-Thought_Reasoning_for_Vision-and-Language_Navigation_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c42/) #### Idea FantasyVLN 将 textual、compact visual、multimodal 与 non-CoT 四种导航模式放入同一模型联合训练，并通过 cross-mode alignment 统一动作决策。部署主路径直接从指令和观察输出动作，把训练时的 reasoning 作用保留在共享表征中，减少在线显式 CoT token。 #### Research Problem Text-only navigation CoT 常把观察压成 caption，丢失视觉空间信息，也受稀疏推理标注约束。Visual CoT 虽能想象下一场景，却要生成大量像素或视觉 tokens，长程导航时延显著。只混合多种模式训练又可能让同一输入产生不一致动作。 #### Insight 未来视觉状态的粗尺度 latent 可以承担空间预测监督，而无需实时完整生成图像。共享参数配合动作分布对齐，让不同 reasoning 模式约束同一导航表示。对齐方向以更新后的 non-CoT mode 为 reference，不能简单概括成显式 CoT teacher 蒸馏到 direct student。 #### Method 1. 采用冻结 pretrained Visual AutoRegressor（VAR）并建立联合词表，VLM 预测 early-scale future-image latents 及动作，VAR 可继续 next-scale decoding 成图像，训练中以紧凑 latent 支持 visual imagination。 2. 用两个 binary gates 控制 text/vision reasoning，有四种模式。Text CoT 分解任务并确定当前子任务，visual CoT 预测未来观察，multimodal CoT 生成成对图文过程，non-CoT 直接预测动作。 3. 对各模式训练 causal cross-entropy。Cross-mode training 先用 expert action 更新 non-CoT path，再对该 path 新预测 stop-gradient 得到 soft targets，让三个辅助模式的动作对齐，同时保留各自 CoT supervision，交替优化共享参数。 4. 在线选择 non-CoT path 进行 instruction-to-action 导航，避免显式 text/visual reasoning 解码。评测 LH-VLN 的未见环境和任务，比较不同 CoT、memory baselines 以及成功率与执行延迟。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zuo_FantasyVLN_Unified_Multimodal_Chain-of-Thought_Reasoning_for_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zuo_FantasyVLN_Unified_Multimodal_Chain-of-Thought_Reasoning_for_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zuo_FantasyVLN_Unified_Multimodal_Chain-of-Thought_Reasoning_for_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zuo_FantasyVLN_Unified_Multimodal_Chain-of-Thought_Reasoning_for_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=5) 核读章节：Compact Visual CoT reasoning · Unified Multimodal CoT Reasoning · Cross-Mode Alignment Constraint · Cross-Mode Aligned Joint Training 依据正文 gating 与 Algorithm 1 对齐方向整理。Implicit reasoning 是作者对训练后表征能力的解释，不代表推理时隐藏执行了完整显式 CoT。 ### History to Future: Evolving Agent with Experience and Thought for Zero-shot Vision-and-Language Navigation CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Dai_History_to_Future_Evolving_Agent_with_Experience_and_Thought_for_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c58/) #### Idea EvoNav 为 zero-shot VLN-CE 联合使用 Future Chain-of-Thought（F-CoT）与 History Chain-of-Experience（H-CoE）。前者预测尚未执行的动作与地标，以判断当前进展；后者将完成任务的轨迹总结和已访问场景存入经验库，在后续导航中检索，形成不更新模型参数的经验积累。 #### Research Problem 直接根据当前图像和指令生成下一动作，容易在首次误判后持续偏离。仅存储地图几何的 lifelong memory 对同一场景有用，却未必包含可迁移的任务经验。已有 zero-shot agents 缺少对历史错误的总结，以及利用未来动作反推已完成步骤的进度判断。 #### Insight 未来预期和历史经验提供互补约束：下一步动作能界定尚未完成的指令部分，未来地标可作为定向检索 query；过往成功、失败及低效路径的总结则提供任务级决策经验。将文字轨迹和视觉场景分别编码，能同时利用相似任务逻辑和相关外观线索。 #### Method 1. 输入为 12 个方向的 panoramic RGB-D observations 和指令，标准 waypoint predictor 产生候选视点。F-CoT 将指令解析为 temporal sub-actions 与 spatial landmarks，再结合历史预测 future action、已执行动作和 future landmark。 2. 每个 episode 完成后，根据预测与 ground-truth paths 计算 NE、SR、OSR、SPL。LLM 对失败任务总结错误与修正路线，对高效成功复用过程，对低效成功提出优化，连同指令和轨迹写入 Chroma。 3. 用当前指令中的完整 landmarks 检索相关 trajectory experiences。每一步结束后另外保存场景文本描述与 CLIP visual embeddings，并用 future landmark 分别做 text-description 和 text-visual retrieval。 4. Action prediction 联合当前 views、动作与地标解析、进度估计、历史轨迹和检索出的两类经验，输出 reasoning、view description 和下一 waypoint，再更新导航历史。经验只来自已完成 episodes 或先前 steps。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Dai_History_to_Future_Evolving_Agent_with_Experience_and_Thought_for_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Dai_History_to_Future_Evolving_Agent_with_Experience_and_Thought_for_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Dai_History_to_Future_Evolving_Agent_with_Experience_and_Thought_for_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Dai_History_to_Future_Evolving_Agent_with_Experience_and_Thought_for_CVPR_2026_paper.pdf#page=5) 核读章节：3. Problem Formulation · 4.2. Future Chain-of-Thought (F-CoT) · 4.3. History Chain-of-Experience (H-CoE) · 4.4. Action Prediction 依据正文 F-CoT 与 H-CoE 整理。作者的轨迹经验总结使用已完成 episode 的 ground-truth-path-based metrics；zero-shot 在此指无任务参数训练，不能理解为完全没有外部结果反馈。 ### MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhang_MindPower_Enabling_Theory-of-Mind_Reasoning_in_VLM-based_Embodied_Agents_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c78/) #### Idea MindPower 把 Theory of Mind 从判断故事人物信念的 QA，扩展为 robot-centric 的 perception→belief→desire→intention→decision→action 链。Agent 既建模自身掌握的信息，也推断人的错误信念或隐含目标，并据此生成具体辅助行动；论文提供专门数据及 Mind-Reward 训练。 #### Research Problem 既有 ToM benchmark 多为 role-centric 多选题，能判断他人想法不等于能从自身视角决定如何帮助。通用 embodied agent 又常依赖显式任务目标，没有评估根据搜寻、反复失败等行为主动识别需求，容易生成场景刻板描述或不可执行动作。 #### Insight 帮助行为需要从可见事件中区分 agent knowledge 与 human belief，再把差异转为自己的 desire 和 intention。完整链条中的局部步骤及跨层顺序均需要一致，单独奖励末端答案或流畅心理描述不足以检查这种依赖。 #### Method 1. 在 VirtualHome 与 ThreeDWorld 中构建 false-belief correction、implicit-goal inference/completion 两类情境，涵盖八种家庭布局、十六类人物及行动限制；GPT-4o 起草故事，经五名标注者筛选、复演和六层标注，得到 590 个例子。 2. 先 SFT 学习六层输出结构，再用 GRPO 优化。每层 reasoning 转为 action(agent, object) 原子项，统一包含物理事件和心理动作，并明确 human / robot perspective。 3. Mind-Reward 用 ROUGE-1 衡量原子匹配、ROUGE-2 衡量相邻关系、ROUGE-L 衡量全局顺序，权重为 0.2、0.3、0.5；加上六层按序出现的 format reward，用组相对 advantage 更新 policy。 4. 评估分别衡量感知与 BDI 文本的语义相似度、动作原子匹配，以及 GPT-4o 对 BDI / perspective consistency 的判断。对直接给动作、普通 CoT、SFT-only 等设置做消融，分析 robot-centric 推理的贡献。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_MindPower_Enabling_Theory-of-Mind_Reasoning_in_VLM-based_Embodied_Agents_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_MindPower_Enabling_Theory-of-Mind_Reasoning_in_VLM-based_Embodied_Agents_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_MindPower_Enabling_Theory-of-Mind_Reasoning_in_VLM-based_Embodied_Agents_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_MindPower_Enabling_Theory-of-Mind_Reasoning_in_VLM-based_Embodied_Agents_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_MindPower_Enabling_Theory-of-Mind_Reasoning_in_VLM-based_Embodied_Agents_CVPR_2026_paper.pdf#page=6) · [PDF p. 7](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_MindPower_Enabling_Theory-of-Mind_Reasoning_in_VLM-based_Embodied_Agents_CVPR_2026_paper.pdf#page=7) 核读章节：Problem Definition and Cognitive Inspiration · MindPower Dataset Collection · Mind-Reward for ToM Reasoning · Evaluation Metrics 读取 benchmark、reward 与评价定义。文中名为 Success Rate 的动作指标实际为加权 ROUGE 序列相似度，不能视为机器人环境中实测任务完成率。 ### NitroGen: An Open Foundation Model for Generalist Gaming Agents CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Magne_NitroGen_An_Open_Foundation_Model_for_Generalist_Gaming_Agents_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c84/) #### Idea NitroGen 从公开 gameplay video 中的 controller overlays 自动恢复玩家 actions，构建跨千种游戏的视频动作数据，再训练统一 vision-action policy。贡献包括数据引擎、可包装商业游戏的评测 harness，以及用 behavior cloning 预训练的 generalist gaming model。 #### Research Problem 通用游戏 Agent 缺少大规模且有动作标签的多样数据。LLM 方法常依赖游戏特定 API 或感知模块，单游戏 RL 需要昂贵交互和专用 simulator，人工 behavior cloning demonstrations 又难扩展。Internet video 有丰富行为，但通常缺少机器可用的 controller labels。 #### Insight 玩家用于展示操作的 overlay 是可恢复 action supervision 的现成通道。若动作解析能够跨模板、透明度和压缩噪声泛化，就能把观看视频转换为学习控制。统一 gamepad action space 进一步使不同游戏共享同一 policy，而无需每个游戏重建接口。 #### Method 1. 用约 300 个模板与 SIFT/XFeat 匹配定位 controller overlay，再训练处理相邻帧的 SegFormer hybrid classification/segmentation parser，预测 buttons 与 joystick grid，并从连续轮廓恢复规范化摇杆坐标。 2. 用程序化随机 controller states 叠加真实背景生成大规模 parser 监督，覆盖 opacity、size 和 compression。训练 policy 前过滤低 action-density 片段，并遮住 controller overlay 防止直接读取标签捷径。 3. 统一 observation 为 RGB frame，action 为 16 个 binary buttons 和 4 个连续 joystick 值。SigLIP-2 编码图像，DiT 通过 cross-attention 以 conditional flow matching 生成 16-step action chunks，推理用对应 denoising process。 4. Harness 通过控制 game engine system clock 提供逐帧 Gymnasium 式交互，跨 10 游戏 30 任务做人类成功判定。任务选择初始视觉状态足以提示目标的设置，语言指令控制留待后续，另评估未见游戏微调迁移。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Magne_NitroGen_An_Open_Foundation_Model_for_Generalist_Gaming_Agents_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Magne_NitroGen_An_Open_Foundation_Model_for_Generalist_Gaming_Agents_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Magne_NitroGen_An_Open_Foundation_Model_for_Generalist_Gaming_Agents_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Magne_NitroGen_An_Open_Foundation_Model_for_Generalist_Gaming_Agents_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Magne_NitroGen_An_Open_Foundation_Model_for_Generalist_Gaming_Agents_CVPR_2026_paper.pdf#page=6) 核读章节：Action extraction · Evaluation suite · NITROGEN foundation model · Architecture · Training and inference 依据正文数据抽取、policy 架构与 benchmark 设计整理；这是无语言输入的 vision-action model，不是语言指令导航 Agent。 ### ProFocus: Proactive Perception and Focused Reasoning in Vision-and-Language Navigation CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xue_ProFocus_Proactive_Perception_and_Focused_Reasoning_in_Vision-and-Language_Navigation_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c89/) #### Idea ProFocus 在 training-free VLN 中把主动视觉取证和历史候选筛选联动起来。Orchestration Agent 根据导航需求向 Perception Agent 提问并指定 crop region，信息充分后由 Branch-Diverse MCTS（BD-MCTS）筛选少量有价值且方向多样的 waypoints，再交给 Decision Agent 深入推理。 #### Research Problem 被动处理全景图会消耗大量 visual tokens，预先生成固定描述又可能遗漏颜色、纹理和空间关系。历史记忆随导航增长后，平等读取所有帧、文字或图节点会稀释关键路径信息。仅按 recency 抽样难在 backtracking 时重新找到与当前目标相关的旧 waypoint。 #### Insight 需要看什么应由决策中的信息缺口决定，而需要回忆什么应由候选路径的价值决定。显式 semantic map 提供可查询的对象和方位，语义估值与路径访问统计再将大量历史压缩为可比较候选，保留多个分支可减少过早锁定错误方向。 #### Method 1. 将 panorama 切为重叠 directional views，用 VLM 检测对象 boxes，结合 SAM2 masks 与 monocular depth 获得距离，并由像素位置计算 heading，形成对象、方位、位置和深度的 ego-centric semantic map。 2. Orchestration Agent 结合 map、instruction、trajectory caption 与 query history 提出问题和 focused region，Perception Agent 读取该 crop 返回细节。循环检查 information sufficiency，直到足以给新 waypoints 估计 semantic values。 3. BD-MCTS 维护无环 search tree，以 semantic evaluation 替代随机 rollouts，并沿当前路径回传新候选平均 value、更新访问次数。对叶节点汇总祖先 value，以 graph shortest-path distance 加距离惩罚。 4. 按分数选择 top-k leaves，限制同一 parent 最多贡献两个 children 保持分支多样性。Decision Agent 检索候选路径相关 memory，选择下一 waypoint，执行后更新 context 和 trajectory caption，再进入新一轮感知。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xue_ProFocus_Proactive_Perception_and_Focused_Reasoning_in_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=1) · [PDF p. 2](https://openaccess.thecvf.com/content/CVPR2026/papers/Xue_ProFocus_Proactive_Perception_and_Focused_Reasoning_in_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=2) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xue_ProFocus_Proactive_Perception_and_Focused_Reasoning_in_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xue_ProFocus_Proactive_Perception_and_Focused_Reasoning_in_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xue_ProFocus_Proactive_Perception_and_Focused_Reasoning_in_Vision-and-Language_Navigation_CVPR_2026_paper.pdf#page=5) 核读章节：3.1. Overview · 3.2. Reasoning-Guided Proactive Perception · 3.3. Focused Reasoning via Branch-Diverse MCTS · 4.1. Experimental Setup 依据正文主动感知与 BD-MCTS 公式整理。此处 MCTS 使用语义估值取代传统 rollout；REVERIE 实验只评价 navigation，未评价完整 object grounding。 ### Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wang_Progress-Think_Semantic_Progress_Reasoning_for_Vision-Language_Navigation_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c92/) #### Idea Progress-Think 为 VLN 显式预测“已经完成的指令语义”，再以该进度文本条件化导航 policy。框架利用 observation sequence 与 instruction prefix 的单调共同推进，自监督启动 progress module，再让进度估计与动作策略在多阶段训练中共同适配。 #### Research Problem 直接从视觉与整段指令预测动作，容易在长程导航中丢失当前子目标位置。以距离比率等数值代表进度也不能说明完成了哪段语义。已有数据通常缺少逐步子指令标签，大量人工或强模型补标又昂贵且不一致。 #### Insight 遵循示范路径时，观察历史应对应指令的某个前缀，后来的已完成前缀不应倒退。把前缀长度当作 latent alignment，可从原有轨迹与完整指令学习语义进度，再以动作监督校准其对导航是否有用。 #### Method 1. Progress Reasoning Module 根据当前与历史图像生成已完成的 instruction-style span。以预测文本与各长度指令前缀的 cross-entropy 构建 soft prefix distribution，通过期望获得可微的进度位置。 2. Self-Aligned Progress Pretraining 联合 Prefix-Subset Soft Cross-Entropy 与 Monotonic Ordering Loss，惩罚同轨迹较晚时刻的预测进度小于较早时刻，无需额外 subgoal labels。 3. 冻结 PRM 进行 Progress-Guided Policy Pretraining，VLA 接收原指令、当前/历史观察及预测进度，以 oracle 与 DAgger trajectories 的下三步动作做 supervised cross-entropy。 4. Progress-Policy Co-Finetuning 对每个状态采样多个 progress hypotheses 及对应动作，用 GRPO 联合更新两模块。Reward 为动作最长正确前缀长度、合法格式和进度文本长度约束，超出完整指令长度才施加 over-generation penalty。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Progress-Think_Semantic_Progress_Reasoning_for_Vision-Language_Navigation_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Progress-Think_Semantic_Progress_Reasoning_for_Vision-Language_Navigation_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Progress-Think_Semantic_Progress_Reasoning_for_Vision-Language_Navigation_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Progress-Think_Semantic_Progress_Reasoning_for_Vision-Language_Navigation_CVPR_2026_paper.pdf#page=5) 核读章节：Self-Aligned Progress Pretraining · Progress-Guided Policy Pretraining · Progress-Policy Co-Finetuning · Model Training · Action Design 依据完整三阶段公式整理。单调前缀是训练用结构假设；正文 progress-length reward 只检查文本长度，不等于逐条核验已完成语义。 ### Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Zhang_Recurrent_Reasoning_with_Vision-Language_Models_for_Estimating_Long-Horizon_Embodied_Task_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c101/) #### Idea R2VLM 以 recurrent reasoning 估计长程具身任务进度，每次只读取新的短 video snippet 与上一轮 CoT，更新任务分解、已完成和待完成步骤，再输出 progress percentage。CoT 同时是可解释判断和跨片段的状态记忆，避免反复处理完整长视频。 #### Research Problem GVL、ROVER 等主要利用视频理解和长 context，未充分处理多子任务之间的顺序依赖，长视频成本也不适合连续在线估计。单帧或局部片段看不到过去已完成的步骤，仅依据外观或已流逝时间又容易把与目标无关的行为当作进度。 #### Insight 任务进度可由结构化步骤完成度承载，比整段原始视频更紧凑。新的观察不仅更新 completed status，也允许 merge、split 或 reorder 旧分解，从而在部分可观测条件下校正记忆。前缀相同而后续目标不同的 distractor tasks 能迫使模型区分视觉动作与目标相关完成度。 #### Method 1. 从 ALFRED 与 Ego4D 的任务说明、expert videos 和带时间戳步骤构建短 snippets，每段采四帧。Progress 以已完成子步骤比例为基础，并在当前步骤内线性插值，区别于对整段视频直接按时间线性分配。 2. 用大模型生成前若干步骤相同、后续目标不同的 distractor descriptions，并将其进度封顶在相关步骤比例。利用已知步骤与状态生成分解、完成分析、进度估计三部分 CoT supervision。 3. 先 SFT 学习 recurrent 格式，再从 early checkpoint 做 multi-turn PPO，当前轮输入上一轮模型生成的 CoT 与新 snippet，输出更新 CoT 和数值；允许旧任务结构根据观察动态调整。 4. RL reward 以格式门控，结合阶段 bin、细粒度 MAE、相邻轮误差改善及 finish detection。作者采用 PPO 以逐样本计算 advantage，评测 progress/增量误差、阶段正确率及完成识别，并将进度用于 policy learning、reward modeling 和主动协助。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_Recurrent_Reasoning_with_Vision-Language_Models_for_Estimating_Long-Horizon_Embodied_Task_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_Recurrent_Reasoning_with_Vision-Language_Models_for_Estimating_Long-Horizon_Embodied_Task_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_Recurrent_Reasoning_with_Vision-Language_Models_for_Estimating_Long-Horizon_Embodied_Task_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Zhang_Recurrent_Reasoning_with_Vision-Language_Models_for_Estimating_Long-Horizon_Embodied_Task_CVPR_2026_paper.pdf#page=5) 核读章节：Recurrent Reasoning · Dataset Construction · Training Strategy · Experimental Setups 依据正文数据标签定义、recurrent 更新和 PPO reward 整理。Progress 是作者采用的等权子步骤与步骤内插值定义，并非所有任务客观剩余工作量。 ### RoboAgent: Chaining Basic Capabilities for Embodied Task Planning CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Xu_RoboAgent_Chaining_Basic_Capabilities_for_Embodied_Task_Planning_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c107/) #### Idea RoboAgent 将 embodied task planning 分解为 scheduler 调用五种基础 vision-language capabilities 的过程，所有角色由同一个 VLM 实现，但各自保持独立上下文。通过明确 capability interfaces 和 simulator-derived supervision，系统学习可检查的中间推理，再逐步提升偏离状态处理与 scheduler 决策能力。 #### Research Problem 直接让 VLM 在长程交互中产出 atomic actions，需要同时完成对象寻找、状态分析、控制及进展追踪。自由 CoT 虽增加文字步骤，却缺少对其中每项能力的明确监督。只在专家轨迹上行为克隆又难覆盖模型自己犯错后遇到的状态，scheduler 的调用策略也难从结果稀疏奖励学好。 #### Insight 把复杂规划接口改为模型本来擅长的基础视觉语言问题，可为每类中间输出提供可靠标签。能力模块和 scheduler 的学习难点不同：前者可从 simulator state 修正，后者则可借助 expert scheduler 的价值信息优化，从而避免全部依赖昂贵完整环境 rollouts。 #### Method 1. Scheduler 按任务与反馈调用 Exploration Guidance、Object Grounding、Scene Description、Action Decoding、Experience Summarization。只有 Action Decoding 输出 atomic action sequences，其余输出文本或 grounding 结果供 scheduler 更新上下文。 2. 第一阶段将专家 plan 按目标对象拆成 exploration/manipulation sub-plans，再映射为 capability sequences。Scene graphs、segmentation masks、environment success/error messages 分别监督对象位置、boxes、状态描述和执行总结，动作序列监督 decoding。 3. 第二阶段收集模型生成的成功及失败 trajectories，为语义有效的调用构建 corrective labels，与专家数据混合做 DAgger-style SFT，并扩展对象描述和 action-space 表述。 4. 第三阶段以 Expert-Induced Policy Optimization 训练 scheduler，利用未完成 sub-plans 构造 expert value，并用 expert advantage、importance sampling、clipping 与组均值 baseline 更新。输入是含合成 capability errors 的离线交互历史，完成 manipulation sub-plan 获得奖励。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_RoboAgent_Chaining_Basic_Capabilities_for_Embodied_Task_Planning_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_RoboAgent_Chaining_Basic_Capabilities_for_Embodied_Task_Planning_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_RoboAgent_Chaining_Basic_Capabilities_for_Embodied_Task_Planning_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_RoboAgent_Chaining_Basic_Capabilities_for_Embodied_Task_Planning_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Xu_RoboAgent_Chaining_Basic_Capabilities_for_Embodied_Task_Planning_CVPR_2026_paper.pdf#page=6) 核读章节：3.2. Capability-Driven Planning · 3.3. Stage 1: Training with Expert Trajectories · 3.4. Stage 2: Training with Model-Generated Data · 3.5. Stage 3: Training with Expert Policy 依据正文 capability 定义与三阶段训练整理。EIPO 推导假设能完成全部任务的 expert policy，实际 expert scheduler 的可行性依赖 capabilities 给出正确输出，作者称其适用于多数状态。 ### Thinking in 360deg: Humanoid Visual Search in the Wild CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yu_Thinking_in_360deg_Humanoid_Visual_Search_in_the_Wild_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c135/) #### Idea Humanoid Visual Search 把单张 360° panorama 变成可交互观察环境，让 MLLM 通过头部 yaw / pitch rotation 寻找目标物体或通向目标的路径方向。H*Bench 将研究从静态整图识别推进到有限 FoV 下的主动搜索，同时绕开逐场景搭建完整 3D simulator 的成本。 #### Research Problem 普通图像 crop 搜索始终在已给定的 2D 画布上操作，不能充分考察朝未知方向看、维持空间方位和决定停止。具身导航研究又常受真实硬件或室内 3D 数据限制，难规模化研究交通枢纽、商场和街道中的拥挤视觉与空间常识。 #### Insight 人在导航关键决策点会暂停移动并转头找线索，这一局部能力可由 panorama 的透视投影独立闭环研究。物体搜索主要要求把目标居中，路径搜索还需从标识推断可通行方向，尤其当文字线索与实际路径朝向不一致时暴露更强空间推理需求。 #### Method 1. 环境按 azimuth 和 polar angle 从 panorama 渲染窄 FoV 观察，policy 结合指令与历史生成 reasoning 和 Rotate(Δyaw, Δpitch)，或 Submit 当前方向结束；HOS 评价物体朝向，HPS 主要评价路径 yaw。 2. 标注者在可旋转透视界面中拟定任务并框目标，将 box 反投影为最佳球面方向。约 3,000 个任务各设四种初始方向形成约 12,000 episodes，覆盖六类场景和十八子类型。 3. 根据人工最优动作由 GPT-4o 补充观察依据明确的 rationale，再人工修正幻觉，构建 2,000 条多轮 cold-start trajectories。全参数 SFT 建立基本工具使用，随后多轮 GRPO 加强搜索策略。 4. 按初始物体可见比例划分 HOS 难度，按有无文字提示及 cue–path 是否对齐划分 HPS 难度。以最终提交方向是否落入标注目标的角度容差区评价 success，并分析跨任务泛化与视觉到动作失配。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Thinking_in_360deg_Humanoid_Visual_Search_in_the_Wild_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Thinking_in_360deg_Humanoid_Visual_Search_in_the_Wild_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Thinking_in_360deg_Humanoid_Visual_Search_in_the_Wild_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Thinking_in_360deg_Humanoid_Visual_Search_in_the_Wild_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Yu_Thinking_in_360deg_Humanoid_Visual_Search_in_the_Wild_CVPR_2026_paper.pdf#page=6) 核读章节：Humanoid Visual Search · Problem Formulation · Humanoid Visual Search with MLLMs · MLLM Post-Training · Benchmark Construction · Evaluation Metric 读取主文任务、数据、训练概要及成功判据。这里的具身闭环是固定位置转头观察，不是已评估完整移动轨迹或真实 humanoid locomotion。 ### Towards Open Environments and Instructions: General Vision-Language Navigation via Fast-Slow Interactive Reasoning CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Li_Towards_Open_Environments_and_Instructions_General_Vision-Language_Navigation_via_Fast-Slow_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c139/) #### Idea slow4fast-VLN 将快速 DUET navigation policy 与 LLM 慢反思连接起来。Fast module 执行动作并记录轨迹，slow module 把轨迹总结成可复用的场景与空间经验，再将检索到的经验编码为向量融入 policy，而非每次困难都独立调用昂贵规划器。 #### Research Problem 传统 VLN 往往在住宅场景与相近指令风格上训练测试，在商场、办公室等 OOD 建筑及 user-style instruction 上会出现不稳定路线判断。把 fast/slow 分成互不影响的模块虽然能临时处理困难，却无法让先前慢推理改善未来快速决策。 #### Insight 慢反思的价值在于抽取跨具体轨迹复用的 spatial rules 和 navigation strategies，并通过可学习接口影响 fast policy 的视觉表征。当前场景检索相关经验可让经验以局部条件进入决策，语言风格规范化则减少与导航语义无关的分布变化。 #### Method 1. Fast reasoning 采用 DUET 的动态 topological map 与 coarse/global、fine/local 双尺度行动评分，输入 panorama、GPS、neighbor-node information 和历史。Llama3.2-vision 为节点生成描述，记录动作、局部拓扑、stop probability 与 episode metrics。 2. Slow LLM 使用结构化 CoT prompt 反思轨迹，将经验存为 scene type、spatial context、spatial rules、navigation strategy、历史 success rate 与 occurrence frequency 等字段，组成有容量限制的 Experience Library。 3. 按当前场景、空间与策略特征计算 similarity，选阈值以上的最相关经验，经 embedding 和线性层编码。以 visual features 为 query、experience features 为 key/value 做 multi-head attention，拼接并投影后替换 policy 的视觉输入。 4. 对 Scene/User style instruction 用 LLM 转为保留核心语义的 Basic style，并按 conversion confidence 决定接受或保留原文。在 GSA-R2R 的住宅与非住宅场景、不同指令风格上比较 navigation error、SR、SPL 与路线一致性。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Towards_Open_Environments_and_Instructions_General_Vision-Language_Navigation_via_Fast-Slow_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Towards_Open_Environments_and_Instructions_General_Vision-Language_Navigation_via_Fast-Slow_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Towards_Open_Environments_and_Instructions_General_Vision-Language_Navigation_via_Fast-Slow_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Li_Towards_Open_Environments_and_Instructions_General_Vision-Language_Navigation_via_Fast-Slow_CVPR_2026_paper.pdf#page=5) 核读章节：Overall Framework · Fast Reasoning · Slow Reasoning · Interaction between Fast-Slow Reasoning · Instruction Style Conversion 依据正文 architecture 与 memory fusion 整理。本设置明确使用 panorama、GPS 和邻接节点信息，不能类比为纯 RGB 无地图导航。 ### ALDEN: Reinforcement Learning for Active Navigation and Evidence Gathering in Long Documents ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.611/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d62/) #### Idea ALDEN 将长视觉文档问答改成可训练的多轮导航：VLM 在 semantic search、按页 fetch 和 answer 之间选择，并利用跨层级奖励学习有效取证。另以 generated tokens 与 visual observation tokens 两路 KL 约束维持视觉表示稳定。 #### Research Problem 全量文档输入成本高且易被无关内容干扰，固定 RAG 难以根据已读页面继续取证。只用语义检索无法可靠处理页码指代和相邻页线索；最终答案的稀疏奖励也不能有效区分有用导航与重复动作，而仅约束生成 token 会留下视觉表示漂移空间。 #### Insight 文档同时具有语义内容和显式页序，因此导航需要两种互补的寻址方式。有效动作的局部奖励要与最终答案目标连接，并在长视觉观察输入下保护预训练语义；这解释了为何扩展动作、细化 credit assignment 和稳定优化需要共同设计。 #### Method 1. 用 hierarchical MDP 表示 turn-level 动作决策与 token-level 命令生成；search 返回相似页及 physical page index，fetch 直接指定绝对页序，answer 结束交互。 2. turn reward 包括格式罚分、search 首次发现 gold evidence page 的收益、fetch 与证据页的距离及重复惩罚，以及加权答案 character F1，使最终回答仍主导收益。 3. 先做 turn-level GAE 将未来导航价值纳入每轮，再给 search query 的重复 n-gram 所涉及 tokens 分配惩罚，最后做 token-level GAE 供 PPO 更新。 4. Visual Semantic Anchoring 对生成和观察 token 分别施加 reference-policy KL，视觉路径权重更强，以抑制只约束动作空间时的表示漂移。 5. 从 DUDE、MPDocVQA、SlideVQA 筛选长文档并改写部分页码问题；初始化 Qwen2.5-VL-7B policy/value models，测试通常最多六轮并同时评估答案和取证质量。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.611.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.611.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.611.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.611.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.611.pdf#page=6) 核读章节：Problem Formulation · Expanded Action Space · Cross-level Reward Modeling · Visual Semantic Anchoring · Experimental Setup 核读正文方法和实验设置；方法机制为作者设计，未将 benchmark 改善外推为普遍保证。 ### E-ViC: Reasoning Beyond Text via Embodied Visual Chain for Spatial Intelligence ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1870/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e219/) #### Idea E-ViC 将 spatial reasoning 从纯文本 CoT 扩展为可执行的视觉操作链：模型在推理中主动 zoom、标点并观察反馈，然后输出坐标、bounding box 或选项。训练直接用任务级 reward 优化多轮视觉工具策略，不依赖逐步标注的 reasoning trajectories。 #### Research Problem Embodied task 的执行需要精细几何信息，但纯语言推理容易把像素关系压缩为模糊描述；模块化视觉 pipeline 又可能逐级传播感知错误。已有 tool-augmented VLM 往往依赖人工程序、监督轨迹或 cold-start，因此既限制可学习策略，也增加多轮视觉行为的训练成本。 #### Insight 将假设落实到可回看的像素操作，可以让模型重新检查视觉细节，而不是仅在文字中重复判断。任务 reward 能学习何时调用工具，但还需防止重复调用和忽略视觉反馈；作者因此在奖励中显式偏好有效视觉参与。所谓 look-and-confirm 行为是训练后观察到的模式，并非完全无先验约束地涌现。 #### Method 1. 把 image 与 instruction 形成初始 context，将每次 policy output 分为 text reasoning、visual tool call 和 final answer。工具执行后把操作与返回图像追加到 history，继续生成直至回答或达到 turn budget；输出支持多种空间任务。 2. 构造 task-specific accuracy reward 与 format reward 的加权和，再乘 gated coefficient。C1 对连续重复工具 JSON 等退化行为置零；满足 C1 但未使用视觉工具时仅给半权重，至少调用一次视觉操作则保留全权重。 3. 对同一输入采样多条完整轨迹，通过 group reward 均值和标准差计算 advantage，用 trajectory GRPO 的 clipped objective 更新策略；奖励分配到 policy 生成的文本、调用与答案，确定性的 tool-response tokens 不参与 policy likelihood。 4. 用异步 actor–learner 与共享 trajectory buffer 处理从直接回答到最多五轮的不同 episode 长度，按 reward variance 加权采样并周期同步模型。以汇集的 embodied task 数据训练，再在外部 spatial benchmarks 上检验泛化与视觉工具作用。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1870.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1870.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1870.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1870.pdf#page=5) 核读章节：3.1 Task Formulation · 3.2 E-ViC Overall Pipeline · Multi-Task Gated Reward · Optimization via Trajectory GRPO · 3.3 Training Infrastructure 已核读推理闭环、gating 条件、GRPO 与异步训练。摘要称任务级 reward 驱动行为发现，正文实际还包含格式、重复行为和视觉调用约束，笔记明确保留。这里的 embodied interaction 是图像工具操作与空间输出，所读正文不支持将其解释为真实机器人闭环控制验证。 ### Breaking Down and Building Up: Mixture of Skill-Based Vision-and-Language Navigation Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.595/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e63/) #### Idea SkillNav 将 VLN 政策拆成五个 skill-specific DUET 专家，并用无需训练的 VLM router 在每个时间步选择一个专家。高层先重排时间关系、定位当前 subgoal，低层仍利用原完整指令、当前视觉与在线拓扑图输出导航动作。 #### Research Problem 端到端 VLN 即使依赖大量 augmentation，也可能对新语言风格和新场景泛化不足；纯 LLM 零样本规划又缺精确空间 grounding。多 generalist 同步讨论会增加冗余，且冲突可能退化为无空间训练的决策。 #### Insight 将可训练空间动作技能与灵活语言组合分离，允许专用 Agent 保持 grounding、router 负责上下文中的技能切换。Temporal Order Planning 没有作为第六个并行专家，而是用于 backbone 训练和高层重排；执行专家接收完整原指令，避免局部目标割裂整体导航约束。 #### Method 1. 基于 NavNuances 定义 Direction Adjustment、Vertical Movement、Landmark Detection、Area/Region，再加 Stop/Pause 与 Temporal Order；从 Matterport3D 抽 4–7 步路径，按转弯、楼层等 skill heuristics 筛选，GPT-4o 结合观测生成自然指令。 2. 先以 R2R、ScaleVLN 或 SRDF augmentation 及 temporal 数据训练 skill-agnostic DUET；再分别用五类 skill 数据微调出五个 specialist。各自保持 DUET 的局部全景 grounding 与全局拓扑 map 结构。 3. 推理先仅根据完整指令生成显式有序 subgoals，把 before、after、until 等时间关系展开；该重排列表只辅助高层定位，不替换专家输入的原指令。 4. Subgoal Localizer 根据重排指令、视觉历史与已执行目标确定下一 subgoal 并给出理由；Skill Router 综合原指令、目标和理由进行 top-1 选择，每步只调用一个专家，专家再据视觉和 map 输出邻接节点移动或 stop。 5. 在 R2R unseen、跨场景/指令风格 GSA-R2R 及长程 RxR-English 评估，区分 SR、SPL、OSR、导航误差和路径一致性，比较不同 augmentation backbone 与模块消融。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.595.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.595.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.595.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.595.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.595.pdf#page=6) 核读章节：Preliminaries · Methodology · Skill Taxonomy · Skill-Specific Data Synthesis and Agent Training · VLM-based Action Router · Experiment Setup 已核读五专家训练与三阶段路由。六类数据不等于六个推理专家；router 为 training-free，但专家经过有监督微调，整个系统不是完全零训练。 ### Communication-Efficient Desire Alignment for Proactive Embodied Human–Agent Interaction ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.641/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e71/) #### Idea FAMER面向重复的家庭协助交互，通过跨episode的goal-relevant memory、desire-centered reasoning和选择性交流，逐渐学会用户偏好而减少重复询问。配套HA-Desire环境用稳定value attributes驱动proxy user的目标选择，使agent必须从模糊指令与交流中推断应当完成哪些具体目标。 #### Research Problem 具身协作研究常假定目标已知或用户偏好固定且显式，但现实助手面对的请求往往简短，用户也不愿反复说明细节。只根据当前一句话规划容易选错物品，频繁询问又增加沟通负担；需要同时记住环境事实、累积个人偏好并控制无价值提问。 #### Insight 场景知识与用户价值是两种可跨交互复用的信息。稳定偏好可缩小本轮潜在目标集合，已知物品位置可减少重复探索；在确认目标和推测偏好之间保留区分，再只询问尚未解决的具体歧义，有望同时提高对齐程度与效率。 #### Method 1. 在VirtualHome上构建六种住宅环境，proxy user从任务特定value space采样固定属性，再由LLM非确定性地选择兼容目标；同一run内跨三次episode保持value固定，以偏好提示而非直接列出目标进行交流。 2. 以Mask R-CNN处理RGB图像并结合depth构成object point clouds及scene graph；LLM根据已确认和推测目标抽取关键物品—位置事实，写入cross-episode memory供后续规划。 3. Goal Confirmation从用户回答提取已确认目标；Desire Inference结合动作/对话历史、当前确认项和前轮目标估计value与remaining goals，再过滤无关动作、聚焦可能相关对象。 4. Efficient Communication在发问前回顾已知目标、偏好及剩余不确定性，生成针对性问题；在Snack和Dinner Table的两种难度下，以正确目标奖励、错误目标惩罚及双方交换token数比较基线和消融。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.641.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.641.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.641.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.641.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.641.pdf#page=6) 核读章节：3 Embodied Home Assistance Simulation Environment · 3.1 Problem Formulation · 3.2 Value-driven Human User · 4.1 Information Extraction · 4.2 Desire-centered Mental Reasoning · 4.3 Efficient Communication · 5.1 Tasks & Metrics · 5.2 Baselines & Ablations 核读模拟用户、感知、memory和交流机制。实验为LLM proxy user且value在短组episode内固定，不能直接视作真实长期人类偏好适应；communication cost是交换token总量，而非人工测量的主观负担。部分基线原本不支持交流，比较按作者改造设置理解。 ### Conflict-Aware Memory for Embodied Agents: Enhancing Vector Data Quality via Detection Rules ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1306/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e159/) #### Idea 论文通过 Conflict Detection Rules（CDRs）清理 embodied-agent 的 vector memory：显式比较命令中的对象和操作，识别 embedding 相近但行动语义不同的记录，并据此筛选 retrieval context、修剪 HNSW 图连接。它改进的是记忆索引与使用质量，而非微调 planner。 #### Research Problem 语义向量可能把“开灯”和“关灯”、同动作不同对象映射为近邻，普通 RAG 会将冲突示例同时交给 planner，导致目标状态翻译错误。多模态经验转成向量后也有相似歧义，单靠 cosine-like proximity 不能表达这些动作约束。 #### Insight 机器人指令具有可拆分的 object–operation 结构；当近邻在其中一个关键分量上不一致时，检索相似并不代表可作为相同目标的例子。把这种领域结构写成规则，可在不更改 embedding model 的条件下纠正候选上下文，并让索引逐渐减少误导性连接。 #### Method 1. 将成功经验保存为 Information–Goal pairs，图像先由 multimodal LLM 生成文本摘要，再与文本记忆一起 embedding，使用 Faiss HNSW 建索引。输入 query 后取 top-k 近邻。 2. CDRs 组合对象相同/不同、操作相同/不同与向量相似谓词；GPT-4o 抽取并比较 query 与候选的 object–operation，判断哪些记录应保留为一致上下文。 3. 根据 query 与候选的一致/冲突关系修剪候选间的 HNSW edges，经过多轮更新获得修正索引；将 query、固定示例和筛选后记忆输入 planner，输出逻辑 goal state，再由 action generator 推导执行序列。 4. 执行成功后把新 Information–Goal pair 写回记忆。用 Café、Canteen、Kitchen、Lounge 四个受限服务场景测试，分别统计 goal-state grammatical accuracy 与 interpretation accuracy，并与无记忆和普通 RAG 比较。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1306.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1306.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1306.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1306.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1306.pdf#page=6) 核读章节：Conflict Detection Rules · CDRs with function predicates · Conflict Resolution with CDRs · Problem Formalization and Overview · The Framework · Settings 核读规则谓词、图修剪和执行链路。这里 conflict 包括不宜互换的对象/动作近邻，并不全是形式逻辑矛盾；主要定量指标测目标状态生成，而非任意真实环境的端到端机器人成功率。 ### DEFT: Demystifying VLN Failures via a Unified Dual-View Explainability Framework for LLM-based Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1363/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e167/) #### Idea DEFT 用共享 VLN backbone 的双 head 联合解释黑盒导航 Agent：Mask Head 分析哪些时间步影响整条导航结果，Action Head 用可微 surrogate ensemble 提取这些决策相关的视觉证据，连接“何时关键”与“看到了什么”。 #### Research Problem 单独选择关键时间或画 saliency map 无法保证两类解释对应同一决策过程；LLM Agent 具有重复运行的行为波动，单一 surrogate 又可能把自身拟合误差当作原 Agent 的视觉依据。黑盒系统无法直接访问目标模型梯度。 #### Insight 共享跨模态表示减少时间与视觉解释脱节，多次 rollout 训练的 surrogate ensemble 则缓解单代理偶然性。反事实动作干预提供时间重要性的行为证据，IG 提供代理模型的视觉归因；后者仍是通过模仿间接解释，不能称为读取黑盒模型的真实内部机制。 #### Method 1. 以 VLN⟳BERT 编码指令、全景和前一状态，连接预测二元 mask 的 FFN 与预测邻接 viewpoint 分布的 Action Head；对目标 Agent 多次运行，分别形成 K 份 trajectory set 来训练 surrogate。 2. 代理训练结合 imitation 原 Agent 动作、shortest-path heuristic 的 pseudo-interactive supervision 和 A2C；RL 包含进度、路径忠实度及 stop 相关奖励，使代理兼顾模仿与可用导航。 3. 在每个 surrogate 上，以黑/白图为 baseline，沿输入插值计算 Action Head 对图像像素的 Integrated Gradients；默认均匀平均多个 attribution map，提高不同代理间的稳定性。 4. 冻结训练后的 backbone，再学习 Mask Head：mask=1 时以随机替代动作干预目标策略。训练鼓励增加可 mask 步骤，同时尽量保持原任务回报与行为，通过 PPO 风格目标、偏差惩罚及 KL 约束识别不可随意替代的关键决策。 5. 在 Matterport3D/R2R 对 NavGPT、MapGPT、NavGPT-2 进行解释，以 reward degradation/fidelity 检查时间重要性，并比较特征归因和人工判断；模块使用训练子集，诊断在 unseen 轨迹进行。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1363.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1363.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1363.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1363.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1363.pdf#page=6) 核读章节：Problem Definition · Proposed Method: DEFT · Architecture of DEFT · Feature-level Interpretability · Timestep-Level Interpretability · Experiment Setup 已核读 surrogate 混合目标、EIG 和 mask 目标。Mask 训练以保持回报并增加可替代动作为方向，并非直接最大化破坏；像素归因为 surrogate-based，不是黑盒梯度。 ### Embodied-Reasoner: Synergizing Visual Search, Reasoning, and Action for Embodied Interactive Tasks ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1910/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e223/) #### Idea Embodied-Reasoner通过观察—思考—动作交替的训练语料，把视觉搜索、任务推理与失败反思结合到具身高层agent。其数据engine先从场景约束生成可执行任务，再以三阶段imitation、成功轨迹rejection sampling和reflection tuning，逐步训练交互、探索及恢复能力。 #### Research Problem 通用VLM面对隐藏物品和多步操作时，容易在一次搜索失败后幻觉目标不存在或提前放弃；只用直接成功示范又缺少探索未知房间和异常后恢复的训练。所需数据不仅是动作序列，还要将当前观察、搜索目的及发现错误后的修正关联起来。 #### Insight simulator metadata可提供物体容纳关系与物理可行性，保证基本任务和必要动作有来源；在必要动作间加入探索，再筛选模型实际成功的搜索过程，可扩展超出简单示范的行为。将异常观察或错误前缀接上反思与正确后缀，则能直接监督如何识别偏离并恢复。 #### Method 1. 在AI2-THOR构建Search、Manipulate、Transport和Composite任务，提供九种高层actions；GPT-4o依据模板和metadata生成constraint-check代码，筛选存在且可操作的对象，再改写instruction风格并组合难度。 2. 用object affiliation graph推导必须的key actions，在其间插入额外搜索过程并实际执行取得观察；GPT-4o按当前/历史观察和已知后续action生成分析、规划、空间推理、反思和验证等thought。 3. 先用1128条合成轨迹SFT Qwen2-VL-7B，得到Interactor；在新任务上高温采样，依据key actions顺序及最终状态筛选6246条成功轨迹，继续instruction tuning形成Explorer。 4. 在成功轨迹插入导航到错位置或操纵未执行的异常状态；在失败轨迹定位首个错误动作，加入反思并补正确后缀，形成2016条self-correction数据。训练只对reasoning和action计loss，反思阶段mask错误前缀，最终得到Reasoner。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.1910.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1910.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1910.pdf#page=5) 核读章节：2.1 Embodied Interactive Task · 2.2 Scene-Constrained Instruction Synthesis · 2.3 Action Sequence Synthesis · 2.4 Interleave Thought with Obs-Action · 3.1 Learn to Interact: Imitation Learning · 3.2 Learn to Search: Rejection Sampling · 3.3 Learn to Self-reflect: Reflection Tuning · 4 Dataset Statistics 依据data engine和完整三阶段训练正文。thought是给定action后的解释标注，不是自然产生的原始人类reasoning；key actions和错误定位使用simulator/ground truth。任务侧重高层规划，低层连续控制不在本文训练与结论范围内。 ### Mango: Multi-Agent Web Navigation via Global-View Optimization ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.646/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e73/) #### Idea Mango 在实际导航前构建网站的有限全局视图，主动选择更合适的入口 URL，并把这些入口作为 multi-armed bandit 的 arms 分配后续导航预算。反思模块更新入口价值和有效性，episodic memory 保存先前尝试以减少重复探索。 #### Research Problem 从 root URL 开始逐层浏览的大型网站会消耗大量预算在无关分支或中间页，局部观察下的更好点击策略仍难摆脱起点问题。固定搜索排序也无法利用实际导航反馈，简单重试则容易重复已经失败的操作。 #### Insight 全局结构信息可在行动前缩小入口空间，而入口价值需要在浏览过程中更新：一次未完成可能是路径错误，也可能只是预算不够。把 promising-but-incomplete 与 dead end 区分开，比按单次任务成功给入口打分更适合长程导航。 #### Method 1. 从 root URL 做有限 BFS crawl，仅保留同域 HTML 页面，用 BM25 内容相关性选 top-10；再由 LLM 生成关键词，结合 Google site search 加入 top-10 结果，构成候选入口集合。 2. 将每个 URL 视为带 Active/Exhausted 状态的 arm，用归一化 BM25 score 初始化 Beta prior，以 Thompson sampling 选择下一入口；导航 agent 在单次动作 budget 内操作浏览环境。 3. reflection agent 检查最终输出与轨迹，任务足够完成则结束；仍有希望则给正反馈增加再访问概率，无效路径给负反馈，dead end 直接停用。更新 Beta posterior，而非重新训练 backbone。 4. 保存轨迹、最终输出及反思，再访问同 URL 时提供历史以避免重复错误。分别采用与基线一致的 Playwright/Crawl4AI 环境，在 WebVoyager 的 129 个 QA 子集和 WebWalkerQA 上评估成功率、动作数及 URL selection 消融。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.646.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.646.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.646.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.646.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.646.pdf#page=5) 核读章节：Global Structure Analysis · URL Prioritization and Selection · Web Navigation Agent · Reflection Agent · Experimental Settings 核读候选构建、bandit 更新与记忆。global view 由有限抓取和搜索近似构造，并非完整网站图；WebVoyager 实验为过滤后的 QA 子集，正文实验为 single run。 ### MARS-RA: Rank Aggregation for Credit Assignment via Multimodal Comparisons in Embodied Multi-Agent Cooperation ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1349/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e165/) #### Idea MARS-RA 将多 Agent credit assignment 转为相对比较和 rank aggregation：LMM 看活跃 Agent 的第一视角图像，判断谁贡献更大；Bradley–Terry 将比较汇总成连续分数，再以 potential-based reward shaping 注入合作 RL。 #### Research Problem 稀疏团队奖励难分辨个体贡献，而具身任务的部分观测、长时延及成员临时退出让固定团队的 value decomposition 更困难。要求 LMM 直接给绝对贡献分数也缺稳定尺度，难跨不同团队人数比较。 #### Insight 两两判断比绝对评分更局部，可适应活跃人数变化；聚合能在潜在排序模型成立时降低比较噪声，potential difference 把静态分数转为训练反馈。理论恢复的是 LMM 的 latent preference，只有额外假设其等于真实 Shapley contribution 才有该解释，不能把排序视作客观因果贡献。 #### Method 1. 以 Open Dec-POMDP 表示动态 operating coalition。每步仅对活跃 Agent 形成有序 pair，以任务规则、身份映射和各自 egocentric image 提示 LMM，输出 win/lose/tie；交换顺序做双向比较减轻位置偏差，tie 各记 0.5。 2. 在比较矩阵上拟合 Bradley–Terry latent score，以 exp(ci)/(exp(ci)+exp(cj)) 模型最小化负 log-likelihood；非活跃成员不参与比较，少于两个活跃成员时跳过查询。 3. 对分数做 softmax 得非终态 potential，终态设零；使用 γψ(next)−ψ(current) 的 shaping term，加权加入环境 reward，为底层 MARL 提供密集个体反馈。 4. 理论分析在比较图连通及 Bradley–Terry 偏好假设下给出聚合误差随比较数量衰减；Shapley consistency 仅作为理想 comparator 下的解释性命题。 5. 在 ManiSkill3/XLeRobot 构建 MARS-Bench，含 2–4 Agent 的 Pass Gate、Herd Sheep、Collect Ball；动作耗电使 Agent 随机退出后充电返回，训练使用稀疏奖励，以完成率及碰撞/超时失败检验动态团队合作。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1349.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1349.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1349.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1349.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1349.pdf#page=6) 核读章节：Preliminaries · Assumptions · Method · LMM-based Pairwise Comparison · Rank Aggregation · Potential Function · Theoretical Properties · MARS-Bench 已核读 ordered comparisons、rank model、PBRS 和理论限制。作者明确不宣称实际恢复真实 Shapley values，笔记保留该限定；理论噪声鲁棒性不覆盖任意有系统偏差的 LMM 判断。 ### Model-Based Imaginative Planning for Embodied Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.827/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e101/) #### Idea IMPLEMENT用可学习的symbolic world model支撑冻结LLM planner在测试时进行imagine–evaluate–refine。world model将视觉观察转成object-centric state，并预测候选动作的可能结果；planner按需请求多次模拟、比较方案并修订，以in-context方式改善决策而无需更新planner权重。 #### Research Problem 直接让LLM从图像规划容易忽略物理affordances与局部可见性，完全依赖expert demonstrations训练policy又昂贵且难适应新环境。通用零样本LLM world models缺少视觉状态对齐，policy与环境预测分离也难利用本次任务中的失败经验。 #### Insight 感知和预测应明确分离：观察模式只写入已确认事实，预测模式只推测候选action相关变化。紧凑的符号状态降低视觉噪声和context负担；训练模型利用同环境history，可让新观察和失败成为测试时预测依据，再将多次模拟压缩为belief summary供LLM比较。 #### Method 1. 用location、inventory、object/receptacle属性及关系表示state；每步感知以新视觉证据覆盖有关字段，未访问容器保持未知，避免把推测当已知。world model以[PER]和[PRE] tokens分别执行观察更新及条件转移预测。 2. 从以随机探索为主、少量goal-directed的环境轨迹收集约80K transitions，以序列化symbolic state做等权cross-entropy SFT；预测训练加入同场景历史观察和失败actions实现MetaICL。 3. planner提出有限候选action sequences和help flag；需要辅助时，world model以非零temperature为每个候选采样多种未来，压缩为textual belief并写入本步候选memory，planner排序、修改或承诺执行。 4. 在视觉ALFWorld的134个OOD任务上评估不同冻结planner，使用Qwen2.5-VL-7B world model；低层执行统一采用ALFWorld oracle controllers，报告多次trial成功率以观察初始能力及历史带来的适应。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.827.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.827.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.827.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.827.pdf#page=6) 核读章节：3.2.1 Object-Centric State Representation · 3.2.2 World Model Training via Self-labeling Transitions · 3.2.3 MetaICL for Test-time Adaptation · 3.3 IMPLEMENT: Model-based Online Policy Iteration · 3.4 Connection to Policy Iteration · 4.1 Experimental Setup · 4.2 Implementation Details 核读训练与test-time planning。self-evolving体现为history-conditioned预测，测试时没有所述权重更新；GPI/value公式是对LLM比较行为的抽象，无显式标量reward/value function或一般收敛保证。数据与oracle controllers来自simulator，不能等同于真实机器人端到端控制。 ### On-policy Reinforcement Fine-tuning with Offline reward for Multi-step Embodied Planning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1822/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e216/) #### Idea ORBIT 用 offline expert trajectories 提供奖励，却由当前 policy 采样候选进行 GRPO：输入某一步专家观察和历史，预测剩余动作序列，再按与专家的正确前缀长度评分。它以较便宜的序列比较替代训练中的 simulator interaction。 #### Research Problem embodied planning 的在线 RL 需要昂贵的视觉模拟与多步环境调用，终局成败信号又稀疏，难以稳定优化。SFT 虽便宜，却直接强制模仿固定输出，难为模型自己的 reasoning 与候选方案提供相对选择信号。 #### Insight 训练状态固定并不妨碍输出由当前策略采样，因此可以在 offline contexts 上保留 on-policy policy optimization。正确的连续动作前缀提供比终局二值更密集的比较信号，而奖励只约束动作匹配，不必逐 token 规定 reasoning 内容。 #### Method 1. 将 ALFRED 专家轨迹按每个时间步拆为训练样本，输入 goal、该步视觉 observation 及先前动作，参考答案是其后所有动作，得到 43,898 个 RFT samples；训练中不调用环境产生新状态。 2. 先用专家风格示范做 SFT，建立格式与规划先验。随后每个输入从当前 policy 采样一组剩余动作方案，找与专家动作完全一致的最长前缀 n，以 n(n+1)/[k(k+1)] 给 accuracy reward，并加入格式奖励。 3. 用 GRPO 的组内相对优势与 reference-policy regularization 更新模型；在线过滤 perfect-reward 比例过低或过高的 prompt groups，以保留有区分度的学习信号。 4. 评测时回到真正的部分可观察多步决策过程，每次观察后行动并接收新环境状态，在 EmbodiedBench 中比较任务成功、迁移、训练成本和次优专家数据鲁棒性，同时给 offline/online reward 差异做理论分析。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1822.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1822.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1822.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1822.pdf#page=4) 核读章节：Problem Formulation · On-policy RFT for Embodied Planning with Offline Reward · MDP Formulation · Offline Expert Trajectory Construction · Reward Design via Expert Trajectory · Training Pipeline · Formal Comparison of SFT and RFT 核读训练状态、奖励与 GRPO。正文明确训练过程是固定专家上下文上的 single-step contextual bandit，on-policy 指输出采样来自当前模型；未核读理论界的全部假设，因此不复述无条件性能保证。 ### On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1863/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d188/) #### Idea TT-VLA 在一个部署 episode 内持续更新 VLA：用预训练 progress estimator 比较动作前后任务进度，直接以进度增量驱动 value-free PPO，并用 LoRA 快速适应当前环境，作为既有 SFT/RL policy 的附加适应阶段。 #### Research Problem 固定 VLA 面对物体移动、视觉变化和新语言条件时不能中途修正其参数；稀疏终局成功奖励来得太晚，而单个 episode 的数据和时间不足以可靠学习 critic 或反复采样完整轨迹。 #### Insight 对当前动作是否推动任务的密集反馈，可在尚未完成任务时提供更新信号，省去训练 value function 的样本负担。该方法主动采用即时进度而非长期 return；“无外部监督”指推理时不需新增人工标签，仍依赖事先训练好的 VLAC progress model 和其准确性。 #### Method 1. 将机器人任务表为 POMDP，输入 RGB/本体观测和语言指令，预训练 VLA 输出末端位姿增量及 gripper action；部署期间不用原训练集或通过环境 reset 搜索候选。 2. 每次执行后，VLAC 根据观测历史与指令回归 0–1 task progress pt，以 rt=pt−pt−1 构造密集 reward，使推进得到正信号、回退得到负信号。 3. 从 PPO 中去掉 value regression 和 entropy regularization，保留 clipped policy surrogate；设置一步形式，直接令 advantage=rt，不拟合长期 V，也不做多 rollout group comparison。 4. 用新交互更新 LoRA 参数，再以更新政策决定后续动作；实验使用 rank 16/32、AdamW 与 clip 0.2，在固定 160 步 horizon 内执行适应循环。 5. 在 ManiSkill3/WidowX 上测试 execution、vision、semantic shifts，含中途重定位物体，并在 Franka Research 3 测九个未见 pick-and-place 任务；对多个 SFT/RL VLA backbone 比较适应前后成功率。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1863.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1863.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1863.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1863.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1863.pdf#page=6) 核读章节：Method · Preliminaries · TT-VLA · Theoretical Analysis of TT-VLA · Experimental Setup 已核读 progress reward、去 critic/entropy 的目标和 LoRA 设置。理论 TD 消失依赖 V=remaining progress 与特定 discount 假设，不是一般 PPO 无法学习的证明；文中“without retraining”仍包含测试时参数更新。 ### PEAP: Proactive Embodied Action Sequence Planning with Joint Understanding of Vision and Audio Perception ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1060/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e125/) #### Idea PEAP构建同时需要视觉、背景声音和文本任务描述的主动具身行动规划评测，要求模型从场景与声音的联系推断是否需要帮助及合理行动方向。它将sound event而非仅语音文字作为决定因素，并保留无需行动的案例，避免把主动性简单等同于总要采取措施。 #### Research Problem 多数embodied planning任务由明确用户指令触发，已有主动助手又常只看文本或屏幕；音频经常只充当语音输入，环境声中表达需求或事件的线索被忽略。缺少联合视听的评测，使模型能够识别单个模态却误判场景需求的问题难以被发现。 #### Insight 同一声音在不同视觉场景中可能意味着不同协助需求，因此评测需要逻辑相关的scene–audio配对，而不是把两种识别准确率独立相加。开放的行动序列可以有多种合理解，故reference应描述总体帮助方向，由分项评价检查感知与帮助是否共同成立。 #### Method 1. 从SUN397、MIT67、Places365抽取场景图像，与UrbanSound8K、FSD50K、ESC-50的audio类别人工配对，并加入Ego4D和VGGSound中自然同步的视听内容，保证声音在场景中具有合理出现可能。 2. 用带ground-truth labels辅助的JoyCaption和AudioFlamingo3生成构建用caption，再由DeepSeek筛选需求方向清晰的样本并标注协助内容；专家可接受、拒绝或修改，最终得到122场景、19963样本。 3. 要求输出Movement、Manipulation、Conversation三类结构化action sequence；标注给出协助方向而非唯一动作串，也包含no-action-needed案例，使多个符合需求的方案可以被接受。 4. 以Scene Recognition、Sound Events Recognition、Assistance Provide及Overall评估；用人工标注约6K评价样本LoRA训练judge，三judge一致则接受，否则人工裁决。比较caption→text cascade与端到端multimodal模型，测试caption阶段不提供ground-truth labels。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.1060.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1060.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1060.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1060.pdf#page=6) 核读章节：3.1 Task Definition · 3.2 Data Collection · 3.3 Data Annotation & Quality Control · 3.4 Quality Validation · 4.1 Metrics · 4.2 Evaluation Model · 4.3 Evaluation Method · 5.1 Models 核读数据配对、标注、judge和两类测试设置。作者明确定位为controlled normative benchmark，非真实人类主动行为模拟；输出计划未在机器人或完整物理环境执行。构建caption使用labels、测试caption不使用labels，两阶段已区分。 ### VLN-MME: Diagnosing MLLMs as Language-guided Visual Navigation Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1300/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e158/) #### Idea VLN-MME 用可互换的 Model、Agent、Task 模块和预渲染导航资产，降低比较 MLLM navigation agents 的成本，并把 memory、CoT 与 self-reflection 的影响分开诊断。它提供的核心是评测和消融框架，而非新训练的导航策略。 #### Research Problem 高保真 simulator 与大型 VLM 的组合成本高，不同模型、任务和 agent designs 的实现又彼此耦合，研究往往只能报告最终成功率。由此难判断差异来自 backbone、空间记忆、prompting 还是导航任务本身，也难检验静态视觉能力是否能迁移为长程行动。 #### Insight 离散导航图中各 viewpoint 的图像可以预先缓存，评测无需每步渲染，但仍可保留路径选择与跨视角推理。把模型接口、提示/记忆策略、任务数据独立替换，便于在一致设置下观察复杂 reasoning 是否真正改善空间决策。 #### Method 1. 实现统一 Model API、Task 数据入口与 Agent 决策模块，由 Runner 交换观察/动作并记录轨迹。Agent 比较 text-summarized history 和 topological text map 两类记忆，各含 direct、CoT、reflection 及组合四种配置。 2. 从 R2R、REVERIE、ObjectNav 的 val-unseen 数据按场景、路径难度与语言等维度抽样，ObjectNav 额外平衡目标类别；以既有方法在完整集与抽样集的指标相关性检验代理评测集代表性。 3. 缓存每个位置四张 90°、不重叠 perspective images，按 connectivity graph 标记可导航方向，并按 global heading 排序；用描述性 captions 辅助依赖语义记忆的 agent，运行时从磁盘读图而不加载完整渲染器。 4. 在多种开闭源模型上零样本比较八种 agent 配置，统计 SR、SPL、navigation error、oracle success 和路径一致性等指标，并通过 component ablation 与案例检查 CoT/reflection、记忆和空间决策的关系。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1300.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1300.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1300.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1300.pdf#page=5) 核读章节：Modular VLN Evaluation Framework · Dataset Construction for Efficient Evaluation · Simulator-Free Environment Design · Settings · Performance Analysis 核读模块、抽样、缓存环境和指标。simulation-free 指评测时使用预渲染图与离散图转移，不是无环境状态；研究只评导航，REVERIE 的 object grounding 不计入。 ## 08 · 安全与可靠性 21 篇 · CVPR 3 · ACL 18 ### AdapAction: Adaptive Target Action Backdoor Attack against GUI Agents CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Chen_AdapAction_Adaptive_Target_Action_Backdoor_Attack_against_GUI_Agents_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c7/) #### Idea AdapAction 研究 GUI agents 的 training-data backdoor 风险，将攻击目标从固定 trigger-action mapping 转为根据 instruction 和当前 GUI state 选择的 adaptive malicious policy。论文关注这种上下文一致的越权行为是否更难被发现，同时检验模型在未触发的正常任务上保留多少能力。 #### Research Problem 既有 GUI backdoors 往往在任何界面都触发同一种固定动作，容易与屏幕和用户目标明显不符。只评价能否触发目标动作，不能充分刻画 agent 会利用环境语义调整违规行为的风险。防御若主要检查视觉可执行性或表面任务相关性，也可能无法识别看起来连贯但并未获授权的附加操作。 #### Insight Agent 的推理和泛化能力也可能被污染轨迹学成不良行为规则，因此安全风险不仅来自记忆某个恶意动作。界面一致性、用户授权和行为安全是不同条件，满足前者不能推出后两者。本文用变化的恶意类别分布和多原则检测分析这种区别。 #### Method 1. Threat model 假设攻击者可向 GUI agent 的 SFT 数据混入少量 trajectories，但不控制实际微调过程。研究同时考虑 instruction 或 screenshot 中的触发条件，区分正常输入与触发输入。 2. 数据构造把既有 instruction-state pairs 与上下文相关的违规行为类别关联，用 teacher model 生成结构化 reasoning-action examples，再与正常数据混合做标准 SFT，使研究对象是上下文策略学习而非固定输出记忆。 3. 在 AitZ、AndroidControl 上比较 clean model、固定目标 backdoors 和 adaptive 方法，正常能力使用 Action Type Match Rate 与完整 Action Match Rate，触发效果使用 ASR，行为多样性使用 Malicious Category Distribution。 4. 防御评价向 judge 提供 user instruction、GUI state 与 proposed action，分别检查 Malicious Behavior、Instruction Relevance 和 Environment Relevance，报告违反任一原则的 DR@1 与同时违反三项的 DR@3，并分析跨任务域行为。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_AdapAction_Adaptive_Target_Action_Backdoor_Attack_against_GUI_Agents_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_AdapAction_Adaptive_Target_Action_Backdoor_Attack_against_GUI_Agents_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_AdapAction_Adaptive_Target_Action_Backdoor_Attack_against_GUI_Agents_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_AdapAction_Adaptive_Target_Action_Backdoor_Attack_against_GUI_Agents_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_AdapAction_Adaptive_Target_Action_Backdoor_Attack_against_GUI_Agents_CVPR_2026_paper.pdf#page=6) · [PDF p. 7](https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_AdapAction_Adaptive_Target_Action_Backdoor_Attack_against_GUI_Agents_CVPR_2026_paper.pdf#page=7) 核读章节：3.1. Problem Description · 3.2. Methodology · 4.1. Experiment Setup · 4.2. Main Results · 4.3. Analysis 1: Evaluation under Defenses 依据正文 threat model、训练机制与评价协议做研究层面整理。0% DR@3 不代表完全绕过检测，作者同时报告 38% DR@1，clean-agent false-positive rate 为 28%；这些结论限于其评测防御。 ### AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Ying_AGENTSAFE_Benchmarking_the_Safety_of_Embodied_Agents_on_Hazardous_Instructions_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c3/) #### Idea AGENTSAFE 将 embodied agent 的危险指令测试分成可交互 SAFE-THOR sandbox、SAFE-VERSE 任务集合和 SAFE-DIAGNOSE 分阶段指标。它同时检查环境感知、计划生成/拒绝与实际执行，区分模型认识风险却继续行动，以及因执行失败偶然未造成危害的情况。 #### Research Problem 只统计最后是否出现有害状态，无法知道失败来自看错对象、忽视危险、生成计划错误还是底层执行问题。既有安全 benchmark 的风险类型较窄，也常缺少正常任务效用对照，难判断拒绝率提升是否伴随基本能力退化。 #### Insight 安全判断需要跟踪 perception→planning→execution 的转换，危险任务完成率降低未必代表模型安全对齐改善。用统一 adapter 固定执行接口，并将拒绝、计划可执行性和环境最终状态分开，才能定位认知和行为之间的脱节。 #### Method 1. 基于 AI2-THOR 建立 SAFE-THOR，perception grounding 将自然语言对象映射到 simulator IDs，action grounding 把高层计划转成导航、拾取、开关等 primitives，使不同 agent workflows 在共同环境下运行。 2. SAFE-VERSE 覆盖 45 个室内场景和 104 类交互对象，包含 normal instructions、分别危及人/环境/agent 的 1,350 个基础危险任务，以及保留意图的多种语言扰动，共 9,900 条指令。 3. SAFE-DIAGNOSE 比较 agent objects 与 simulator GT 得到 grounding recall / hallucination rate，用 LLM judge 判有效拒绝和完整可执行计划，再由 sandbox ground-truth checker 验证最终目标状态。 4. 另提出 SAFE-AUIDT，在初始 thought 转成多步计划之前，由 auditor 根据指令和场景审查：危险则改成拒绝，安全但不佳则补建议，合格则保留。实验联合正常效用、危险执行和各阶段指标分析九个 VLM 与两种 workflow。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Ying_AGENTSAFE_Benchmarking_the_Safety_of_Embodied_Agents_on_Hazardous_Instructions_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Ying_AGENTSAFE_Benchmarking_the_Safety_of_Embodied_Agents_on_Hazardous_Instructions_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Ying_AGENTSAFE_Benchmarking_the_Safety_of_Embodied_Agents_on_Hazardous_Instructions_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Ying_AGENTSAFE_Benchmarking_the_Safety_of_Embodied_Agents_on_Hazardous_Instructions_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Ying_AGENTSAFE_Benchmarking_the_Safety_of_Embodied_Agents_on_Hazardous_Instructions_CVPR_2026_paper.pdf#page=6) 核读章节：Preliminaries and Threat Model · SAFE-THOR Evaluation Sandbox · SAFE-VERSE Evaluation Task Suite · SAFE-DIAGNOSE Evaluation Protocol · SAFE-AUIDT: A Thought-Level Safety Module 依据 benchmark 与审计模块正文。任务 success 对正常指令是效用，对危险指令是风险实现，解读时方向不同；agent self-harm 指物理 agent 受损。 ### LaSM: Layer-wise Scaling Mechanism for Defending Pop-up Attack on GUI Agents CVPR 2026 · Main · 扩展相关 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Yan_LaSM_Layer-wise_Scaling_Mechanism_for_Defending_Pop-up_Attack_on_GUI_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c66/) #### Idea LaSM 通过对一段 Transformer layers 的 attention 与 MLP projection weights 施加统一 scaling factor，改善 GUI Agent 面对恶意 pop-up 时的动作选择。它先在攻击样本上搜索有效层区间，再固定该轻量改动用于推理，无需梯度微调。 #### Research Problem Prompt alerts 对与用户任务语义相近的 inductive pop-ups 作用有限，而 retraining defenses 成本高。作者观察正确与错误点击在深层 attention 存在差异，但直接放大这些差异最大的深层反而削弱防御，说明诊断相关层不等于适合干预的层。 #### Insight 防御依赖模型层级间已有平衡，选择中间语义对齐层进行有限增益，比笼统放大所有层或错误敏感深层更有效。Attention map 在实验中与正确关闭区域的 saliency 一致，但证据主要是行为变化及可视化，不能将相关图谱视为完整因果解释。 #### Method 1. 收集关闭 icon-cross 的正确样本与点击 confirm 等错误样本，提取最后生成 token 到 vision tokens 的 layer-wise attention，对关键按钮局部 patch 比较 R–R 与 R–W cosine similarity。 2. 先检验直接缩放深层 attention/MLP 的方案并发现退化，再使用 progressive range narrowing，从广层范围逐步调整上下界，以正确关闭 pop-up 的比例选择可缩放区间。 3. 在所选层将 attention 的 Q/K/V/O projections 及 MLP 的 up/gate/down matrices 预乘 alpha。固定区间后对 alpha 做网格变化，平衡 defense success 与语义一致性，原模型其余层保持原配置。 4. 在 overlay 与 instruction-relevant inductive pop-up 上比较 no defense、prompt/CoT alerts 和 DPO 等，并检验 benign/general capability 与多步 AndroidControl 表现。DSR 具体定义为成功关闭弹窗，而非所有安全任务的总体成功。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Yan_LaSM_Layer-wise_Scaling_Mechanism_for_Defending_Pop-up_Attack_on_GUI_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Yan_LaSM_Layer-wise_Scaling_Mechanism_for_Defending_Pop-up_Attack_on_GUI_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Yan_LaSM_Layer-wise_Scaling_Mechanism_for_Defending_Pop-up_Attack_on_GUI_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Yan_LaSM_Layer-wise_Scaling_Mechanism_for_Defending_Pop-up_Attack_on_GUI_CVPR_2026_paper.pdf#page=5) 核读章节：Layer Scaling Based on Attention Pattern · LaSM: Layer-wise Scaling Mechanism · Visual Analysis of Layer-wise Scaling Effects · The Selection of Scaling Coefficient · Implementation 依据正文负结果、层搜索与 scaling 实现整理。无需 retraining 不等于无需攻击样本做超参数选择；DSR 定义与因果解释限定为笔记说明。 ### CodeHacker: Automated Test Case Generation for Detecting Vulnerabilities in Competitive Programming Solutions ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.108/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d11/) #### Idea CodeHacker 面向具体竞赛程序生成合法反例，先校准输入 Validator 和输出 Checker，再依据代码分析与执行观察组合多种 test generation 策略。核心是把测试从通用随机覆盖转为针对实现缺陷的验证，并先降低评测工具本身误判的风险。 #### Research Problem 现有代码基准测试可能遗漏边界条件，使实际错误程序被判 AC；增加随机样本也未必命中某个实现的逻辑缺陷。与此同时，LLM 自动生成的 Validator 或 Special Judge 可能过松或过严，若直接使用，会把非法输入或错误判定误报为成功 hack。 #### Insight 有效反例必须同时满足输入合法、标准解可通过和目标程序失败。将“评测基础设施是否可靠”与“目标程序哪里出错”分为两阶段，可使发现的失败更具有解释力；静态语义假设再经实际执行或数值计算核实，比仅凭文本猜测复杂度和溢出更可靠。 #### Method 1. Calibration 阶段分别用非法输入绕过、合法边界输入被拒等 probes 修正 Validator；对 Checker 测试错误输出被接受和不同合法答案被拒，并以小规模推导及独立模型审核约束更新。 2. Code Analyst 读取题目与目标代码，使用 C++ sandbox 验证小型行为反例，利用 Python 计算边界值和操作数量，形成指向 WA、RE、TLE 或 MLE 的测试计划。 3. Generator 根据计划输出可执行 C++ 生成器，结合极限规模/结构 stress tests、LLM 语义反例和针对 hashing 的 collision 构造，生成超过上下文长度的大规模合法输入。 4. 执行环境运行经过验证的 Standard Solution 获取期望输出，再通过校准后的工具判断目标是否失败；从原测试与官方判定不一致的 submissions 构建 CodeHackerBench，并评估增强测试的检错与 RL 训练价值。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.108.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.108.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.108.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.108.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.108.pdf#page=6) 核读章节：Problem Formulation · Phase I: Evaluation Tool Calibration · Phase II: Adversarial Case Generation · Code Analyst · Hack Case Generators · CodeHackerBench 核读两阶段流程和成功 hack 条件。作者披露少于 5% 的复杂题在 Phase I 需要专家修补，且工具经过人工审核；因此不能称整个基础设施构建完全无人参与，Phase II 才是自主生成。 ### Evo-Attacker: Memory-Augmented Reinforcement Learning for Long-Horizon Tool Attacks on LLM-MAS ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.330/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a11/) #### Idea Evo-Attacker 将针对 LLM multi-agent systems 的 tool-return 安全测试建模为带动态经验记忆的长期 RL 交互。它学习何时干预、何时保留预算，并从历史成功测试中检索可迁移模式，以研究局部不可信工具输出如何影响最终系统结果。 #### Research Problem 静态 prompt-injection 模板和针对单一网站的攻击方法难以适应不同 agent topology、tool schema 与任务；多 agent 后续处理也可能消解孤立异常。系统失败往往在多轮之后才可见，因此仅逐次优化修改文本无法处理时机选择与长程策略之间的联系。 #### Insight 工具通道的信任会沿协作过程传播，安全研究应把干预置于完整任务上下文并评估最终失败。作者以经验检索提高跨情境复用，以终局奖励训练整段决策；但其 credit assignment 是广播相同 episode outcome，并非能精确识别每步因果贡献的独立奖励。 #### Method 1. 在 gray-box 威胁模型下只观察一个目标 agent 的工具请求与返回，不能读取 agent 内部状态或 inter-agent messages，并对可替换返回次数施加预算。 2. 从零样本探索开始，将经任务结果验证的失败 episode 存入 memory，条目记录任务配置、工具交互和修改过程，形成可增长的经验库。 3. 策略根据当前调用与历史产生检索 query，检索相似经验后评估是否适用，作继续检索、跳过或干预决策；具体修改由独立 return modifier 按策略指令执行。 4. Attack-Flow GRPO 以系统最终失败加格式/预算约束构成 episode reward，在同任务多次 rollout 间标准化并广播到攻击策略生成 tokens；环境返回与受测 agents 的 tokens 不参与损失。 5. 在 flat、chain、hierarchical 协作结构和代码、研究、网页任务中比较无攻击与受干预性能，并做记忆、优化和迁移分析。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.330.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.330.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.330.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.330.pdf#page=5) 核读章节：Problem Setup and Threat Model · Attack Memory Generation · Memory-Augmented Attack · Optimization via Attack-Flow GRPO · Experiment Setting 核读威胁模型、记忆与优化公式；记录研究设计而不提供攻击载荷。结果适用作者设定的可替换工具输出与有限预算条件。 ### RedCoder: Automated Multi-Turn Red Teaming for Code LLMs ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1531/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d150/) #### Idea RedCoder 把 Code LLM 的安全评估从静态单轮提示扩展为可随回答变化的多轮对话测试。研究先用多 agent gaming 生成 prototype conversations 与抽象策略库，再将对话行为蒸馏到独立模型，用以系统检查代码生成模型在持续交互中是否输出 CWE 类漏洞。 #### Research Problem 既有 code red-teaming 依赖人工设计不完整代码或单轮 adversarial prompts，难以规模化模拟真实开发中的连续讨论。风险意图可能跨多个看似普通的轮次逐步形成，单轮 guardrail 即使对直接危险请求有效，也未必识别整体对话最终导向的不安全代码。 #### Insight 多轮安全边界应由整段交互中的代码产物衡量，而不是只看某个用户输入是否明显有害。比较同一测试任务的失败与成功对话，可提取可复用的高层交互模式；用这些轨迹训练 context-sensitive tester，有助于发现静态测试覆盖不到的失效。这里的策略归因来自对比分析，不能直接解释为经过因果验证的机制。 #### Method 1. 构建 attacker、带 multi-turn guardrail 的 defender、vulnerability evaluator 与 strategy analyst 四类角色，在受控任务集合上模拟连续对话；保存 evaluator 判定出现不安全代码的 prototype conversations，并用整段历史反馈组织后续实验。 2. 从 defender 回答提取 code snippets，以 Amazon CodeGuru 检查 CWE 类弱点；guardrail 根据累计对话筛查候选回复，被判 unsafe 时替换成拒绝消息，使测试同时覆盖交互和防护行为。 3. 将 prototype conversations 拆成 history→next utterance 的监督样本训练 tester；对失败/成功对话对提炼高层策略摘要，并建立与局部交互语义表示关联的 retrieval memory，用于测试时的上下文适配。 4. 在覆盖 43 类弱点的 170 个 coding tasks 上比较单轮与多轮测试方法、检索消融和 guardrails，评价至少一次生成漏洞的对话比例。另检验以多轮数据训练防护的作用，说明结果依赖对话级风险识别。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1531.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1531.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1531.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1531.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1531.pdf#page=5) 核读章节：2.1 System Overview · 2.2 Multi-Agent Gaming · 2.3 Training RedCoder · 2.4 Deploying RedCoder · 3.1 Experimental Setup 核读四角色设计、监督训练及 CodeGuru 评价，保留研究层面的安全测试描述。漏洞标签来自自动分析器，不等同于每段代码均有经执行确认的可利用攻击；部分任务也用于 gaming，作者的跨模型测试不应表述为所有任务完全未见。 ### SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1501/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a60/) #### Idea SafeAgent 通过自动风险模拟生成安全对齐数据：先构造容易诱发危险行为的指令与历史，再在同一决策点用 trial-reflection 搜索安全动作，最后把该行为监督内化到模型。其重点是训练期模拟交互风险，减少部署时依赖额外监控代理的成本。 #### Research Problem 工具代理的风险不只来自恶意问题；正常但模糊的指令、工具返回的环境陷阱及累积历史都可能触发越界动作。普通对话 safety alignment 难覆盖这种条件依赖，既有防御又可能局限于单一领域、依赖人工确认或增加每次推理延迟。 #### Insight 危险动作是否发生取决于 instruction-trajectory pair，而不是孤立指令。将风险分解为 Outcome、Trigger、Scenario，可从预期危害反向生成场景，再在真正即将失误的位置提供正确行为监督，避免必须在真实系统收集危险执行数据。 #### Method 1. OTS 定义风险后果 O、触发后果的不安全动作 T，以及由用户指令和历史交互构成的场景 S；将主工具、辅助工具和可能风险结果组成 toolkit-outcome pairs。 2. Generator 根据工具组合与风险生成多样指令；代理与 LLM simulator 逐步交互，Evaluator 在每次动作前判断安全性，发现不安全动作时保留该动作之前的 instruction-history 场景。 3. 对风险场景反复采样下一动作；若 Evaluator 认为不安全，Reflector 分析失误并引导修改，直至找到安全动作或达到反思上限，形成 scenario-safe action 数据。 4. 将场景序列化为输入、通过审查的安全动作作为目标，以 negative log-likelihood 微调模型；作者在 ToolEmu、SEDA 及真实终端任务上检验安全表现与泛化。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1501.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1501.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1501.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1501.pdf#page=4) 核读章节：A Unified Threat Model for Agents · From O to S: Risk Scenarios Generation · From S to T: Safety Action Sampling · From T to Safety: Enhance Training 依据 OTS 定义与方法正文梳理流程。Algorithm 2 的收集条件文字写为 unsafe，与同页正文和训练目标相反；本笔记按明确的安全动作采样正文解释，并保留这一排版/伪代码不一致。 ### SafeMCP: Proactive Power Regulation for LLM Agent Defense via Environment-Grounded Look-Ahead Reasoning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.522/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a26/) #### Idea SafeMCP 将 agent 安全控制放到 MCP server 侧，在动作执行前预测环境后果，并据此过滤下一步可获得的工具；若当前调用本身预测会进入 unsafe state，则立即阻止。它把减少危险能力暴露与即时拦截结合，而不是只检查工具调用文字。 #### Research Problem 动态工具获取不断扩大 agent 可影响的环境范围，语义看似无害的操作也可能把系统带入高权限、高风险状态。现有 guardrails 往往只在动作已被选中后拒绝，缺少环境转移视角且容易终止整条任务，无法细粒度保留安全替代路径。 #### Insight 安全性取决于状态和后续动作集合的组合。作者区分 safe、critical 与 unsafe，将尚未出事但存在危险后续动作的 critical state 单独建模；限制这些工具后，任务 agent 仍可在剩余空间寻找有用动作。理论安全边界建立在理想转移知识与 safety viability 假设上，实际实现依赖预测模型。 #### Method 1. 用 ToolEmu、AgentHarm 环境轨迹及关键步骤的 adversarial mutations 构建数据，同时训练 next-state prediction 和 future unsafe-state/action prediction，使基础模型学习环境动态。 2. 以 oracle 环境反馈辅助教师构造两千条结构化 reasoning examples，平衡三种状态类别，cold-start SFT 学习先判断状态、再识别需过滤工具的格式。 3. RL 阶段用安全分类的 binary reward、工具集合的连续匹配 reward 和格式约束；工具奖励由 false negatives/positives 经 Smooth Tchebycheff scalarization 与归一化 sigmoid 形成，兼顾漏滤与过滤。 4. 运行时先向 agent 提供过滤后的工具集；收到候选调用后根据历史预测 next state、状态类别及下一步危险工具，unsafe 则返回阻断错误，否则执行并更新历史及后续可见工具。 5. 以 PowerSeeking Bench、ToolEmu 和 AgentHarm 共同评估风险降低、良性任务 utility 与过度拒绝，并用消融检验 grounding 和双奖励贡献。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.522.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.522.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.522.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.522.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.522.pdf#page=6) 核读章节：Safe Stackelberg Power Game · Inference-Time Defense Mechanism · Three-Stage Training Pipeline · RL with Dual Verifiable Rewards 核读理论假设、执行算法及三阶段目标；严格安全不变性属于理想形式化目标，不能由有限 benchmark 结果推出学习系统已满足。 ### VIGIL: Defending LLM Agents Against Tool-Stream Injection via Verify-Before-Commit ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.443/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a19/) #### Idea VIGIL 用 verify-before-commit 保护 tool-using agent：从可信用户请求建立 intent constraints，允许在不执行动作的假设空间中探索候选路径，再分别检查约束一致性和与用户目标的关系，只有通过验证的路径才能提交。配套 SIREN 将工具定义和运行反馈也纳入 injection attack surface。 #### Research Problem 外部工具 docstrings、schemas 与 error messages 往往被模型当作操作规范，攻击者因此可以伪装依赖或恢复步骤。仅过滤网页/邮件内容忽略了这层权限混淆；冻结初始计划虽限制偏离，却可能在 API 故障或工具替换时失去任务完成能力。研究问题是保持动态恢复同时限制不受信任信息改变授权范围。 #### Insight 环境反馈可用于提出下一步假设，但不应成为授权该动作的依据。将候选生成与动作批准分开，并让批准回到原始 user intent，可保留 replanning 的灵活性；结构约束检查与语义必要性判断分工，也让 verifier 的任务比整体执行提示更集中。 #### Method 1. Intent Anchor 仅从用户 query 生成 abstract workflow sketch 与 immutable logical invariants，例如任务领域和允许操作类型；这些约束作为后续检查的固定基准，不根据外部工具消息直接扩权。 2. Perception Sanitizer 将工具说明、数据和反馈改写为客观功能或状态描述，剥离命令语气、紧迫性等指令成分。Speculative Reasoner 根据清理后的材料生成多个候选 trajectories，并为动作提取 operation type、来源和 information flow 等 metadata。 3. Grounding Verifier 先检查 metadata 是否满足 invariants，再用独立的 semantic entailment assessment 判断候选是否服务于用户目标；两项通过后才 commit，失败则 reflective backtracking，成功路径进入 Validated Trajectory Memory 供后续复用。 4. 在 AgentDojo 基础上扩充工具库、加入冗余工具及随机失败，构成 SIREN 的 959 个 tool-stream cases 与 949 个 data-stream cases；同时衡量 benign utility、attack success rate 和完成用户任务且抵御攻击的 utility under attack。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.443.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.443.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.443.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.443.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.443.pdf#page=6) 核读章节：3 The SIREN Environment · 4.1 Overview · 4.2 Ground-Truth Constraint Synthesis · 4.3 Sanitizing the Adversarial Input Space · 4.4 Hypothesis Space Generation · 4.5 Grounded Verification and Adaptation · 5.1 Experimental Setup 核读 threat model、五组件、两阶段 verification 和评价定义。约束与 semantic verification 均由 role-specialized LLM 实现，名称中的 ground-truth/logic 不代表形式化安全证明；hypothetical sandbox 指提交前的推理阶段，不将其扩大为所有候选均经隔离执行验证。 ### AgentMark: Utility-Preserving Behavioral Watermarking for Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.573/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a31/) #### Idea AgentMark在agent的planning behavior选择中编码provenance watermark，而不改写最终tool参数或输出措辞。它先显式提取候选行为概率，再用保持该分布的keyed sampling嵌入bits，并用抗擦除编码支持从不完整轨迹恢复来源信息。 #### Research Problem 文本水印难覆盖agent多步工具行为，直接对执行动作施加偏置又可能影响任务成功并在长轨迹中累积损失。实际审计日志还会缺步或截断，因此水印需要兼顾行为效用、可解码容量以及部分日志情况下的恢复。 #### Insight planning层常存在多个可接受行为，可以在保持每步边际选择概率的同时改变随机选择与payload的关联，从而承载来源信息。编码保证应相对于实际提取的概率表建立，而不是无法直接观察的latent policy；日志缺失则通过收集足够独立线性方程恢复payload。 #### Method 1. 在每步由观察与history得到有限候选behavior set及显式概率P_t；embedder和verifier共享secret key与step context，派生同步伪随机源，先选watermarked behavior，再由agent据此生成执行action。 2. AgentMark-F按概率排序，以相邻概率差构成top-k均匀bins，并用k倍差值作为bin权重；在选中bin内通过cyclic-shift uniform encoding嵌入可变长度bits，使行为边际仍等于P_t。 3. 解码端利用已记录behavior、对应P_t和相同context重建bin与随机过程，恢复各步bit片段；可选RLNC将payload编码为F2上的伪随机线性方程，剩余记录提供的方程矩阵满秩时唯一解码。 4. 在ALFWorld、ToolBench和OASIS中比较ReAct基线及带选择偏置的red–green水印，评价任务成功、轨迹长度、容量与擦除/截断恢复；理论恢复下界按实际收到的总bit数及随机系数假设给出。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.573.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.573.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.573.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.573.pdf#page=6) 核读章节：3.1 Preliminaries and Notation · 3.2 Planning-Time Behavior Channel and Distribution-Preserving Coding · 3.3 Threat Model · 4.1 Overview · 4.2 Distribution-Preserving Behavioral Watermark · 4.3 AgentMark-F: A Concrete Instantiation of AgentMark · 4.4 Erasure-Resilient Coding and Decoding · 5.1 Experimental Setup 核读分布重组、编码和恢复公式。保持的是elicited P_t，不保证它等于latent P*_t，也不自动证明所有长程utility不变；恢复依赖可重建共享context和足够bit/rank，而非只凭保留step比例。鲁棒性形式化为erasure/truncation，不扩大到任意行为篡改。 ### Benchmarking Web Agent Safety under E-commerce Deceptive Interfaces ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1009/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e117/) #### Idea WebDecept 通过可配置、状态触发的 frontend intervention，把常见电商 deceptive interfaces 加入正常购物任务，研究 agent 在完成任务的同时是否受到误导。benchmark 特别覆盖购物车与结账阶段，使安全评测能识别最终订单成功但用户利益受损的情况。 #### Research Problem 已有研究多围绕恶意用户指令或显式 prompt injection，较少系统评估广告、重定向、暗加商品和价格变化等真实界面操纵。复杂基础任务还会把能力失败与安全失败混在一起；若流程不覆盖 checkout，也看不到悄然改变订单状态的风险。 #### Insight 界面欺骗的影响应在明确触发点后测量，避免把从未遇到干预的 episode 当作安全成功。任务完成与安全不是互斥结果：agent 可以顺利下单，同时接受未授权的商品或金额，因此需要两个独立指标。 #### Method 1. 在 VisualWebArena shopping/OneStopShop 环境加入 trigger engine，按指定页面状态应用参数化界面改变；agent 继续接收 screenshot 与 accessibility tree，以共享 browser action space 操作。 2. 设计七类场景：普通或个性化 pop-up/banner、domain redirection、cart add-ons 与 price drift。前者在浏览阶段触发，购物操纵在购物车或 checkout 阶段触发，保留原有交互流程以形成受控比较。 3. 人工设计 9 个购物意图模板，覆盖直接、约束、推荐、比较与条件购买，变化产品及属性形成 45 个任务；控制推理难度，同时包含必须依赖视觉属性的任务，验证其目标与成功条件。 4. 完整记录 clean-to-intervened trajectories，TC 用最终订单 evaluator 判定；SVR 只在到达触发点的 episodes 上统计干预后不安全行为。每 agent 交叉组合 45 任务、7 场景、2 种提示，并消融界面设计及提示防御。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1009.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1009.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1009.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1009.pdf#page=5) 核读章节：Problem Formulation · WebDecept Design · Deceptive Scenarios · Task Design · Evaluation Pipeline · Experimental Setup 核读状态注入、任务设计与指标分母。购物操纵可同时计为任务成功和安全失败；SVR 是作者预定义 unsafe actions 的触发条件统计，不能等同于全部购物风险发生率。 ### Conjunctive Prompt Attacks in Multi-Agent LLM Systems ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1577/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e192/) #### Idea 本文研究多 Agent 流程中的 conjunctive prompt attack：用户输入中的 trigger 与某个受损远端 Agent 的模板分别单独不触发异常，但经过分段与路由后在同一远端汇合，才激活目标行为。研究以受控系统比较不同拓扑和防御的组合盲点。 #### Research Problem 单输入检测通常孤立检查 user prompt 或远端 wrapper，无法看到跨组件组合条件。多 Agent 的 segmentation 与 stochastic routing 决定两部分是否相遇，所以只研究单模型 prompt injection 会遗漏系统层的条件性激活。 #### Insight 安全边界需要考虑消息传播与组合后的语义，而不能以各部分单独看起来正常推出整体正常。本文实验里的成功由输出特定 marker 判定，提供可复现的组合激活证据；它不是现实系统已经执行敏感工具或泄露数据的直接测量。 #### Method 1. 形式化一个 client 分段、随机 dispatcher 路由、多个黑盒 remote Agent 的环境，仅一个远端含注入模板；模型权重与 client 逻辑固定，攻击配置涉及触发所在分段、模板相对位置及路由偏置变量。 2. 定义活跃条件为携带 trigger 的 segment 到达受损 Agent 并与其模板共同作用；分别测试 clean、key-only、template-only、both 四种 regime，用前三者的低激活率检查是否为真正的组合依赖。 3. 以可微 counterpart 估计到达概率与模板有效概率的乘积，添加配置约束和探索项，在连续松弛上优化后转为离散配置，再在黑盒 Agent 系统中验证；该优化不需要目标模型梯度。 4. 每个配置运行多次随机 episode，记录路由、远端原始输出及精确 marker 匹配；比较 star、chain、DAG 拓扑、优化与非优化配置，及不同 guard/tool restriction 防御下的激活和误触发。 5. 分析 routing alignment 对成功率的作用，提出防御应跨组件追踪消息来源与联合上下文；结论依赖所定义的随机路由和受损远端模板设置。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1577.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1577.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1577.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1577.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1577.pdf#page=6) 核读章节：Threat Model · Agentic System Model · Adversary Capabilities and Constraints · Conjunctive Activation Condition · Evaluation Regimes · Routing-Aware Counterpart Optimization · Experimental Setup 已核读威胁模型、四条件对照、优化与激活判据，仅概括研究机制。正文虽说不修改 routing mechanism，却显式将 rho 纳入攻击者优化，笔记保留此实验能力假设，不将结果推广为任意不可控路由；ASR 是 marker 激活 proxy。 ### JARVIS or Ultron? A Survey on the Safety and Security Threats of Computer-Using Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2106/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e241/) #### Idea 这篇survey以CUA的Perception、Brain和Action架构为共同坐标，把内部能力缺陷与外部攻击分开，再将防御机制、评测环境及指标映射到相应威胁。核心贡献是建立跨OS、GUI、web与device-control agents的安全分析框架，而非提出一个新的训练算法。 #### Research Problem CUAs同时读取多模态环境、维护memory并实际操作系统，风险不只来自恶意prompt，也来自grounding、规划、context和API错误。已有安全研究分散于不同平台与攻击类型，防御常针对局部威胁，缺少把来源、受影响组件和评价方式连接起来的统一视角。 #### Insight 同一种不安全结果可能来自内部能力不足，也可能是外部主体利用交互接口触发，因此威胁应同时描述来源与传播/执行位置。用共同组件坐标映射防御，可看出哪些层受到保护、哪些威胁缺少覆盖；评价还必须同时考察任务效用、过程错误及攻击后的行为。 #### Method 1. 从arXiv、Semantic Scholar、Google Scholar、OpenReview检索2022年以来研究，keyword阶段获得700余候选，删除重复及与CUA安全/防御无直接关系的工作，最终选择124篇深入分析。 2. 按来源Environment、Prompt、Model、User，以及受影响的Perception、Brain、Action整理威胁；内部类包含grounding、scheduling、misalignment、hallucination、context length、社会文化、latency及API错误，外部类覆盖adversarial inputs、injection、memory、backdoor等风险。 3. 将14类已有防御按目标组件和对应threat映射，包括环境约束、输入验证、defensive prompting、数据清理、训练、输出监控、模型检查、cross-verification、memory适应、审计和拓扑控制等，讨论组合防护需求。 4. 整理web、mobile、tool-use及混合环境benchmark，区分task/step success与ASR、policy-compliant completion、refusal、leakage等指标，并比较rule-based、LLM-as-judge和人工评测的可扩展性与盲点，据此归纳未来研究方向。 #### Sources & Reading Scope [PDF p. 2](https://aclanthology.org/2026.acl-long.2106.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2106.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2106.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2106.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2106.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.2106.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.2106.pdf#page=8) · [PDF p. 9](https://aclanthology.org/2026.acl-long.2106.pdf#page=9) 核读章节：2.1 Computer-Using Agent · 2.2 Literature Review · 3 Taxonomy of Safety Threats · 4 Taxonomy of Existing Defenses · 5 Evaluation and Benchmarking · 5.2 Evaluation Metrics · 5.3 Measurements · 6 Discussion 已读文献筛选、完整分类和评价讨论正文。Method描述综述研究设计，不虚构新模型训练或统一实验；威胁—防御对应是作者综合判断，不能当作每种防御在所有对应威胁上都已实验证明有效。未来方向与既有证据分别表述。 ### OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.431/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e42/) #### Idea OS-Sentinel 将确定性 system-state checks 与 VLM contextual judgment 结合，用于检测 mobile GUI agent 在真实流程中的风险。配套 MobileRisk-Live 同时记录界面和后台状态，MobileRisk 冻结轨迹与多粒度标签，让检测研究能够独立于 agent 的任务能力比较。 #### Research Problem 仅看截图或单步动作会漏掉后台文件与权限变化，只靠规则又难理解隐私泄露、社会语境与危险动作序列。在线运行还受应用随机性、agent 成功率和敏感操作约束影响，难以构建可重复、安全模式一致的 detector benchmark。 #### Insight 系统状态变化与语义风险有不同的可观测证据，应由互补模块检查；轨迹级标签和首次风险位置则分别检验覆盖与及时性。冻结执行证据并保留可恢复状态，能把检测方法的差异从轨迹生成过程的差异中分离。 #### Method 1. 基于 Android emulator 构建可恢复 sandbox，收集 screenshot、a11ytree、action 和 System State Trace；将文件元信息、屏幕属性等组织为紧凑记录和 hashes，提供 GUI 外的状态变化证据。 2. 构建 204 条 MobileRisk trajectories，102 条不安全、102 条安全；安全部分结合独立正常执行与修正后的不安全对应样本。人工标注轨迹是否有风险、首个风险 step 和风险类别。 3. Formal Verifier 检查系统 metadata hash 变化、敏感词 exact matches 和结构化信息 regex，按规则汇总信号；Contextual Judge 读取 screenshot/action 或 a11ytree，逐步分析或使用连续窗口、均匀抽样分析整轨迹。 4. 以配置函数合并两模块，主实验采用 OR strict mode；报告轨迹二分类与首风险位置分数，后者按与真实 step 的距离线性扣分，提前和延迟检测对称处理，并比较纯规则和纯模型 judges。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.431.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.431.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.431.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.431.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.431.pdf#page=6) 核读章节：Preliminary · MobileRisk-Live: A Dynamic Sandbox · MobileRisk: A Benchmark of Realistic Trajectories · Formal Verifier: Unified Rule-based System Checker · Contextual Judge: Model-based Safety Analysis · Hybrid Verdict · Experimental Settings 核读 sandbox、冻结数据、两检测模块和融合。Formal Verifier 是规则检查器，metadata hash 变化本身只能提示变化，不能单独证明未授权；主实验严格 OR 融合与 consensus 模式有不同误报取舍。 ### RISK: A Framework for GUI Agents in E-commerce Risk Management ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1720/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e204/) #### Idea RISK 将电商风险信息检索的真实浏览流程组织为专用数据、benchmark 与 RFT 配方。RISK-R1 直接学习 Browser Use 的 DOM index/tool-call 形式，结合响应格式、动作列表正确性、轨迹位置和任务难度调整 GRPO 训练。 #### Research Problem 静态 crawler 难处理交互后才出现的信息，通用 GUI 训练又多用坐标 bbox reward，与实际 Browser Use 的 DOM 元素和复合工具列表不一致。一次响应含多个动作时全对才奖过于稀疏，而只给部分正确奖励又可能让模型停留在不完整执行。 #### Insight 训练信号应匹配部署动作表示，并在早期提供细粒度探索信号、后期要求完整列表正确。电商流程后段网页往往更复杂且更有任务差异，位置与难度权重因此把学习资源移向难点；这是基于离线参考动作的 RFT，不等于在线端到端风险判断得到监督。 #### Method 1. Qwen-VL-Max 在 Browser Use 中按领域模板执行 information search 和 website verification，记录截图、DOM、历史与动作；过滤失败轨迹、清理冗余步骤、整理上下文、改写问题并串接多步序列。 2. 以强模型每题五次表现分 easy/moderate/difficult，得到 RISK-Data 的 8,492 单步和 2,386 多步轨迹；RISK-Bench 保留 802/320 条并从训练排除。 3. Qwen2.5-VL-7B 先 SFT 学 thinking、evaluation_previous_goal、memory、next_goal 与工具列表结构；RFT 仅用单步轨迹并混入 GUI-R1，因为完整多步输入过长，不能把此阶段称为整轨迹 online RL。 4. format reward 检查结构，早期对列表各 tool call 与 gold 的 F1>0.5 指示求平均，后期改为整列表二元正确性；用随原轨迹步骤递增的 process weight 加重后段，再按难度 level weight 缩放 GRPO objective。 5. 分别做离线 RISK-Bench/OS-Genesis 和真实网页在线测试。离线单步按 tool-call F1 阈值，离线多步要求全部调用正确；在线区分 20 步内结束的 completion 与答案正确的 success。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1720.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1720.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1720.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1720.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1720.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1720.pdf#page=7) 核读章节：Dataset Collection · Task Design · Data Construction · Methodology · Reward Design · Reinforcement Learning Objective · Experimental Setup 已核读数据清理、完整 reward 与实际训练范围。多步数据用于 SFT，RFT 实际使用单步；offline all-calls-correct 与 online answer success 口径不同，不混用。 ### SecureVibeBench: Benchmarking Secure Vibe Coding of AI Agents via Reconstructing Vulnerability-Introducing Scenarios ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1107/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e131/) #### Idea SecureVibeBench重建真实漏洞最初被引入时的开发场景，让coding agent从引入前repository状态和普通功能需求出发生成patch，再同时检查功能与安全。它不把安全评测限于复现历史漏洞，还用静态分析标记agent可能额外引入的新风险。 #### Research Problem 安全代码benchmarks多为单函数补全、从零生成backend，或从修复前一刻构造任务；后者的上下文和需求可能已经远离漏洞最初产生的时点。仅用历史PoV测试也只能发现一个已知漏洞，不能说明agent是否引入其他缺陷，更不能用功能测试通过替代安全判断。 #### Insight 定位vulnerability-introducing commit及其parent可恢复真正的功能开发起点。静态历史追踪速度快但候选不可靠，动态PoV确认边界则更准确，两者串联可兼顾筛选效率与场景可信度；PoV和SAST分别对应确认漏洞与潜在风险，应分开报告。 #### Method 1. 从ARVO及OSS-Fuzz收集4993个真实C/C++漏洞实例，使用B-SZZ找可能的introducing commits；再验证fixing commit无目标漏洞、candidate commit有漏洞且其parent无漏洞，筛出可动态确认的引入边界。 2. 基于引入commit的message、issue与gold patch生成普通功能需求，明确要求不泄露实现细节或漏洞信息；以parent repository为agent起点，Docker隔离项目，人工审核需求及测试parser，最终保留41个项目的105项任务。 3. 从gold patch后的项目获取functional tests并验证构建环境，以differential testing比较agent patch与gold实现的行为；使用已验证PoV判定特定历史漏洞是否出现。 4. 另用Semgrep检查新增安全风险，但因false positives只标记suspicious；结果分为Incorrect、Correct-but-Vulnerable、Correct-but-Suspicious及Correct-and-Secure，在多个coding agents和backbones上联合分析功能和安全。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.1107.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1107.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1107.pdf#page=5) 核读章节：3.1 Task Formulation · 3.2 Benchmark Construction · 3.3 Benchmark Statistics · 3.4 Features 核读VIC回溯、动态边界确认及双重安全oracle。Correct-and-Secure只表示在本benchmark的functional tests、目标PoV和SAST下未发现问题，不是无漏洞证明；SAST可疑项与PoV确认漏洞严格分开。笔记描述防御研究设计，不提供具体漏洞利用步骤。 ### Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1197/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e143/) #### Idea JailAgent 研究保留原始用户 prompt、改动 agent memory/retrieval 与候选选择过程的 red-teaming。它利用 shadow model 定位高贡献语义触发点，再以动态合成数据训练轻量 reranker，并约束触发表示，使误导性记忆更可能影响后续行为。 #### Research Problem 依赖固定提示改写的攻击通常受任务格式与目标模型变化影响，也可能明显破坏正常结果。agent 的外部记忆和中间候选选择提供另一种信任边界，但需要分析哪些输入语义对决策重要，以及如何在不同任务中适配这种干预。 #### Insight 不改变用户可见指令并不等于不改变 agent 的决策证据：若攻击者控制外部 memory store，可以围绕关键语义提高污染内容的检索与选中概率。把 trigger importance、retrieval geometry 和 context-dependent ranking 分别建模，能研究该路径的贡献。 #### Method 1. 威胁模型允许攻击者写入少量 memory instances，但不访问核心 LLM；用有 logprob 的本地 shadow model 近似决策分布。WordPiece 与 dependency parsing 对齐短语，先按 group masking、再按 token masking 的 logprob drop 和近似 KL 定位高贡献片段。 2. Data Factory 按当前 context 合成 poisoned/benign candidate pairs；冻结 SentenceTransformer encoder，仅训练两层 MLP scoring head，用 pairwise ranking loss 学习上下文相关的候选偏好，再对生成候选评分选择。 3. 将 trigger embeddings 归一化，联合 particularity、clustering、separability 和 margin 目标，约束其与正常簇、污染条目的距离及检索区分性，用于增强跨场景稳定性。 4. 在 VideoAgent、ReAct-UALA 与 EHRAgent 的八个任务数据集比较，分别报告污染检索 ASR-R、日志模型判定 ASR-L、人类审阅 ASR-H，以及任务准确性和连续完成指标，分析攻击效果与正常功能的关系。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1197.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.1197.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1197.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1197.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1197.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1197.pdf#page=6) 核读章节：Threat Model · Trigger Extraction · Group Mapping · High Contribution Token Extraction · Reasoning Hijacking · Data Factory · Reranker · Constraint Tightening · Evaluation Metrics 核读权限假设、shadow-model 分析、reranker 和四损失。该方法需要 memory-store 写入及内部检索/候选干预条件，不是仅有普通用户输入权限的 black-box 攻击；笔记按作者机制概括，未推定未描述的部署访问能力。 ### TAMAS: Benchmarking Adversarial Risks in Multi-Agent LLM Systems ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1442/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a57/) #### Idea TAMAS 为多 Agent 系统建立跨 prompt、environment 与 compromised-agent 三种攻击面的受控 benchmark，覆盖六类威胁、五个业务情景和 211 个合成工具，并同时观察攻击抵抗与正常任务能力。 #### Research Problem 单 Agent prompt injection 测试无法呈现恶意消息经角色分工、协作或调度传播的系统性失败。只统计拒绝或攻击成功也会把不会做任务的系统误判为安全，因此需要保留无攻击 utility 基线，并区分立即拒绝、迟拒绝和执行失败。 #### Insight 系统拓扑和角色信任会改变风险传播：集中协调、固定轮次与动态 handoff 可在不同攻击下呈现不同弱点。正常工具与模拟攻击工具使意图是否转化为调用可以检查；ERS 尝试联合 safety 和 performance，但仍是所定义权重及 synthetic scenarios 下的比较。 #### Method 1. 每个 Education、Finance、Healthcare、Legal、News 情景设置四名有不同职责/工具的 Agent，每类攻击每情景十例，共 300 adversarial instances；另每情景二十条 harmless task，共 100 条，多数任务需要至少两三名 Agent 合作。 2. 定义 DPI、Impersonation、IPI、Single Agent Compromise、Colluding Agents、Contradicting Agents 六类干预，分别作用于用户消息、工具/外部观测或受损角色的 system prompt；部分设置同时提供模拟恶意行为的 attack tools。 3. 在 AutoGen/CrewAI 实现集中 orchestrator 和固定 sequential 配置，并在 AutoGen Swarm 实现动态 handoff 的 collaborative 配置；比较十种 backbone，使模型因素与交互组织可分开观察。 4. 以 LLM-as-judge 结合工具调用检查分 ARIA-1 立即拒绝、ARIA-2 延迟拒绝、ARIA-3 有执行意图但失败、ARIA-4 攻击完成；另在无攻击任务测 Performance under No Attack。 5. 按四类结果加权汇总 Safety Score，再与 PNA 组合 Effective Robustness Score，分析攻击类型、模型和配置之间的安全/效用取舍，避免仅凭低攻击完成率判断可靠性。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1442.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1442.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1442.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1442.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1442.pdf#page=6) 核读章节：Threat Model · Attacks · TAMAS Benchmark · Dataset Details · Agent Interaction Configurations · Evaluation Setup 已核读威胁权限、合成工具、三类协作与 ARIA/ERS 定义。攻击例为 benchmark 模拟，不把 attack-tool 调用视为已发生现实损害；低 collusion 总成功可包含部分恶意 Agent 已成功的情形。 ### Visual Inception: Compromising Long-term Planning in Agentic Recommenders via Multimodal Memory Poisoning ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.954/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e114/) #### Idea Visual Inception 将多模态 agent 的攻击面从当前输入扩展到长期记忆：用户上传的图像可以被存储、在未来相关查询中检索，并持续影响推荐规划。论文同时提出 CognitiveGuard，在图像入库时做 perceptual sanitization，在检索使用时做 counterfactual verification，分别处理污染内容的进入与后续影响。 #### Research Problem 既有 visual prompt injection 主要研究当次交互的即时偏转，难以刻画图像被保存后跨回合潜伏、检索和激活的风险。另一方面，仅检查最终推荐是否出现攻击目标，不能确认偏转是否由记忆污染造成；防御若仅依赖输入图像与净化结果相似，也可能保留原本携带的恶意语义。研究因此关注受限上传权限下的长期规划影响及其可归因评测。 #### Insight 长期记忆把图像的视觉语义与未来检索连接起来：污染内容不必立即改变行为，只需在相关查询到来时被召回并进入规划上下文。作者据此区分 Dormant、Activation、Hijacking 与 Persistence 阶段。相应防御需要同时考察内容是否偏离良性参考，以及移除该记忆是否显著改变规划；后者提供影响证据，但仍依赖模型与语义相似度代理，并非严格因果保证。 #### Method 1. 建立黑盒上传威胁模型：攻击者不能直接修改 memory bank 或内部推理，通过公开 surrogate encoders 研究图像视觉相似性、目标概念对齐与未来检索倾向之间的关系，随后观察污染记忆在多回合推荐中的激活和持续影响。 2. CognitiveGuard 的 System 1 对每张上传图像执行 diffusion purification；停止判断结合历史良性图像的参考中心与多次净化后的 embedding 稳定性。新用户使用公开类别参考，避免将输入本身作为唯一可信锚点。 3. System 2 在查询时移除被检索的候选记忆并重新规划，以 Sentence-BERT 比较原始与反事实输出的 divergence，同时用 LLM 判断记忆和任务的语义关联。Adaptive strategy 控制该验证的调用，上传净化仍对所有图像执行。 4. 在 ShopBench-Agent 的电商、室内设计和旅行会话中比较攻击及防御。GHR 统计输出级目标命中；ASR-M 进一步要求反事实与 clean control 支持记忆归因，并辅以 stealth、持续回合等指标。分别讨论一次性入库处理与查询开销，防御效果以这些实验条件下的结果解释。 #### Sources & Reading Scope [PDF p. 2](https://aclanthology.org/2026.acl-long.954.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.954.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.954.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.954.pdf#page=5) 核读章节：3 Threat Model: Visual Inception · 3.1 Attack Goal and Adversary Capabilities · 3.2 Latent Concept Coupling · 3.3 The ‘Inception’ Effect · 4 Defense: CognitiveGuard · 4.1 System 1: Perceptual Sanitizer · 4.2 System 2: Reasoning Verifier · 4.3 Adaptive Strategy and Latency · 5.1 Environment and Datasets · 5.2 Metrics · 5.3 Main Results 依据威胁模型、攻击机制、防御流程和实验设计正文，主结果阅读至第5页。GHR 与 ASR-M 的差别是作者定义；反事实方法仍受输出波动与语义代理影响的边界是结合方法及作者对 SBERT、judge 和域外表现讨论作出的分析。论文展示推理时记忆污染，不是训练时 backdoor；不将跨用户等潜在风险描述为已完成大规模部署验证。 ### When Efficiency Becomes a Vulnerability: Computational Cost Attacks on WebAgents ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.1775/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e212/) #### Idea CostBomb 将 web-agent 安全评测扩展到 computational cost：目标不是让任务失败，而是通过网页中的不可信内容诱发冗长 reasoning，使成功任务也付出更多生成成本。框架先生成候选干预，再训练 selection agent 从候选中挑出更容易增加输出长度的文本。 #### Research Problem web agents 的研究多关注最终任务完成，对额外 latency、token usage 和资源消耗关注不足。手写干预在不同页面上效果不稳定，直接生成单个候选又受语言随机性影响；black-box 条件下无法用目标模型梯度优化这些影响。 #### Insight 任务成功不会排除成本型伤害，输出长度可成为一个独立、可从公共接口观测的 feedback signal。将开放式文本生成与较小的候选选择问题分离，可利用 RL 学习页面相关的选择策略，而不需要读取 victim 参数。 #### Method 1. 形式化带 screenshot/HTML observations 的 web navigation，攻击方仅通过网页干预及目标运行反馈观察效果；把 agent 产生的 output tokens 数量作为 computational-cost proxy，保留原用户任务。 2. LLM generator 读取当前环境内容及示范生成多样候选，selection model 结合页面上下文输出候选 index。研究的环境干预位于 agent 能读到的 HTML/accessibility 内容，而非修改用户指令。 3. 训练时对同一页面采样多种候选并运行目标 agent，以输出 token 数为 reward，计算组内标准化 advantages，用 clipped GRPO 与 reference KL 更新 selector，generator 保持冻结。 4. 推理阶段由已训练 selector 选择页面干预，比较 SeeAct 与 WebVoyager 在 Mind2Web Website、Task、Domain 划分中的成本变化和任务表现；通过移除 RL 的变体及不同基线检验 generation–selection 设计。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1775.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1775.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1775.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1775.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1775.pdf#page=6) 核读章节：Problem Statement · An Overview of the Proposed CostBomb · LLM-empowered Adversarial Prompt Generator · LLM-empowered Prompt Selection Agent · GRPO-enhanced Policy Update · Inference · Experimental Details 核读黑盒目标、候选选择和 RL reward。奖励公式直接优化 output length，并未加入任务正确性约束；保持任务表现是实验需要另行验证的结果。token 数是成本代理，不是直接测量能耗或所有端到端成本。 ### XOXO: Stealthy Cross-Origin Context Poisoning Attacks against AI Coding Assistants ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.521/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d53/) #### Idea XOXO 研究 coding assistant 自动收集跨来源代码上下文时的推理期风险：攻击者只对共享代码作保持其功能的变换，也可能使后续生成的目标函数出现 bug 或 vulnerability。论文提出 GCGS 在变换组合空间中以模型 confidence 引导搜索，并进行受控代码测试与 Copilot 案例验证。 #### Research Problem 共享 repo 片段常与用户当前代码合并进同一 prompt，来源信任未明确分隔；常规审查关注修改后的代码本身是否有恶意，却可能漏掉它对模型补全的间接影响。已有代码对抗攻击多依赖梯度、分类 logits 或显式恶意自然语言，不能直接覆盖此情形。 #### Insight 源代码运行语义保持不变，并不意味着 LLM 对其命名与结构的条件分布保持不变。多个降低 confidence 的变换有时可组合扩大扰动，支持启发式搜索；该单调性是所测模型/数据上的经验趋势，不是任意代码或生成器的数学保证。 #### Method 1. 威胁模型假设恶意贡献者能提交共享 repo 修改，并了解 assistant 的上下文收集与目标开发任务；目标模型权重和被补全功能的规格保持固定，注入位于被自动取入的辅助代码。 2. 把合法、无标识冲突的语义保持变换及可逆组合抽象为 Cayley graph；生成任务在可用时以输出序列的长度归一化 log-likelihood 表示 confidence，而不需要模型参数梯度。 3. GCGS 先评估一组单步变换，再按 confidence 启发式贪心组合，复用已测评分并跳过冲突，直到验证发现失败或达到查询预算；与只做浅层随机搜索的 baseline 比较搜索贡献。 4. 受控实验给 HumanEval+/MBPP+ 目标题配三个其他已解题作为上下文，以功能测试定义 bug injection；CWEval/Python 要求仍过全部功能测试但失败安全测试，区分一般错误和安全缺陷。 5. 报告从原正确输出变为错误的 ASR、查询成本和变换自然度。GPT-4.1 可提供 log probabilities 用 GCGS，Claude 无此接口只测浅层搜索；另复现 Copilot 跨文件上下文案例，作者说明该具体漏洞已向供应商披露并修复。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.521.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.521.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.521.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.521.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.521.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.521.pdf#page=7) 核读章节：Cross-Origin Context Poisoning (XOXO) Attack · Threat Model · End-to-End Attack Demonstration · Automating XOXO: Greedy Cayley Graph Search · Space of Transformations · Tree Traversal with Monotonicity in Model Confidence · Evaluation Setup 已核读攻击权限、confidence 接口要求和两类测试判据，仅概括研究设计。主大规模实验为控制的 context-augmented completion，不直接代表所有 IDE 实际发生率；Copilot 版本结论限于作者所测版本。 ## 09 · 领域应用 / 数据分析 18 篇 · CVPR 1 · ACL 17 ### Simple Agents Outperform Experts in Biomedical Imaging Workflow Optimization CVPR 2026 · Main · 直接工具使用 [官方论文](https://openaccess.thecvf.com/content/CVPR2026/html/Wang_Simple_Agents_Outperform_Experts_in_Biomedical_Imaging_Workflow_Optimization_CVPR_2026_paper.html) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/c125/) #### Idea 论文系统研究 coding agents 如何为固定 biomedical imaging tools 自动生成 preprocessing/postprocessing functions，用少量标注验证集优化已有生产流程。核心不是提出更复杂的多角色架构，而是从简单 code-execution feedback loop 出发，逐项分析模型、专家示例、记忆和 AutoML 的实际价值。 #### Research Problem 实验室间显微镜、染色和分辨率变化使生产模型在新数据上失效，重训需要大量标注，人工适配又耗时。已有科学 agents 多关注任务编排或研究发现，缺少针对工具适配的受控设计研究。更强 reasoning、function memory 或更大 API lists 是否稳定有益，不能仅凭通用 agent 经验判断。 #### Insight 适配难度可拆成 API composition space 与 parameter space：有的任务只需少数固定操作但参数很敏感，有的允许广泛操作组合。专家函数可能帮助找到特殊参数，也可能限制组合探索。复杂组件的收益由任务空间决定，执行反馈支持的简单循环已经能搜索出有效代码。 #### Method 1. Base Agent 接收 task prompt、数据特性与 API 信息，Coding Agent 每轮生成三个前后处理函数对，Execution Agent 嵌入固定模型流程运行，返回错误及验证分数，连续 20 轮。 2. 以 Polaris 单分子检测、Cellpose 细胞分割、MedSAM 皮肤镜分割为三个 case studies，分别优化 F1、AP@IoU 0.5 和 NSD+DSC，对照原作者生产代码中的专家函数。 3. 逐项加入 expert functions、保存高低分函数的 function bank、更换 GPT-4.1/o3/Llama 模型，或每五轮触发 AutoML 参数搜索。每种配置运行 20 个 seeds，并分析 API 共现、函数多样性、代码长度与参数分布。 4. 作者从全部 runs 按 validation scores 选 top 15 functions，再报告其中最高 test score。进一步通过参数手动校正及降低 AutoML 频率/预算分析偏差与过拟合，发现复杂组件的收益随任务变化。 #### Sources & Reading Scope [PDF p. 1](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Simple_Agents_Outperform_Experts_in_Biomedical_Imaging_Workflow_Optimization_CVPR_2026_paper.pdf#page=1) · [PDF p. 3](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Simple_Agents_Outperform_Experts_in_Biomedical_Imaging_Workflow_Optimization_CVPR_2026_paper.pdf#page=3) · [PDF p. 4](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Simple_Agents_Outperform_Experts_in_Biomedical_Imaging_Workflow_Optimization_CVPR_2026_paper.pdf#page=4) · [PDF p. 5](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Simple_Agents_Outperform_Experts_in_Biomedical_Imaging_Workflow_Optimization_CVPR_2026_paper.pdf#page=5) · [PDF p. 6](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Simple_Agents_Outperform_Experts_in_Biomedical_Imaging_Workflow_Optimization_CVPR_2026_paper.pdf#page=6) · [PDF p. 7](https://openaccess.thecvf.com/content/CVPR2026/papers/Wang_Simple_Agents_Outperform_Experts_in_Biomedical_Imaging_Workflow_Optimization_CVPR_2026_paper.pdf#page=7) 核读章节：3. Agent Design Space · 4. Experiment Setup · 5.2. How do design choices matter? · 5.3. Can AutoML help search the parameter space more effectively? 依据正文设计空间、实验设置及解释性分析整理。报告最高 test score 涉及测试集上候选择优，不能直接等同于一次纯验证集选择后部署的预期性能；这是本笔记对评价协议的解释。 ### Beyond Itinerary Planning—A Real-World Benchmark for Multi-Turn and Tool-Using Travel Tasks ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1347/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a56/) #### Idea TravelBench把旅行agent评测扩展到真实用户的地点发现、导航、方案比较等需求，并同时设置single-turn、需要主动澄清隐含偏好的multi-turn及unsolvable任务。其核心是将真实日志、只向user simulator提供的偏好profile，以及基于真实API返回构建的离线sandbox结合，测试交互与工具使用的完整过程。 #### Research Problem 已有travel benchmarks常以行程设计为中心，预先写明偏好或按固定顺序揭示约束，不能充分测试assistant是否会主动问出用户未说的需求。直接调用在线服务又难以重复比较；只用最终行程约束评分，也覆盖不了丰富查询、对话质量和工具能力不足时应当停止的情况。 #### Insight 隐含偏好必须保持在用户一侧，澄清行为才有实际信息价值；任务是否需要多轮也可通过多个agent实际是否追问来经验划分。将工具输出缓存并为缓存缺口提供受近邻约束的模拟，可以在真实信息基础上稳定运行评测，但模拟输出仍不是每次都经过真实API执行。 #### Method 1. 从Amap四个月日志整理约5000项去重query，以Qwen-Plus去除个人识别信息、保留抽象偏好并补充合成属性；用K-Center-Greedy扩大语义覆盖，profile只供user simulator使用。 2. 以三模型一致判断筛选不可完成任务；对可完成query运行两个assistant各三次，根据是否追问划分single-turn与multi-turn，再分别选500项。对偏好脱敏做全量人工检查，并抽样验证标签。 3. 整合10个真实工具，通过多模型实调用建立约20万条call-response缓存；精确匹配失败时用Qwen3-Embedding-8B与Faiss取top-8示例，交给LLM做ICL response simulation，同时严格检查参数、类型和范围。 4. 不可完成子集检查首答是否含[Unsolved]；可完成任务按规划、信息整合、呈现及多轮额外的用户交互维度打分，归一化后乘以meta-judge修正和有效工具调用比例，最后汇总三个子集得分。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1347.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1347.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1347.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1347.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1347.pdf#page=6) 核读章节：3.1 Data Collection and Process · 3.2 Multi-turn vs. Single-turn Tasks · 3.3 Query Types and Distribution · 3.4 Dataset Quality and Human Validation · 3.5 Sandbox Environment · 4 Evaluation Protocol 依据数据、sandbox与评分正文。single/multi标签来自选定模型的交互行为，不是任务内在难度的形式判定；meta-evaluation calibration为LLM评分乘法修正，不是概率校准保证。缓存miss由模型模拟，未将其描述为全部实时真实API执行。 ### BioProAgent: Neuro-Symbolic Grounding for Constrained Scientific Planning ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1981/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e227/) #### Idea BioProAgent 把科学协议生成改为由 deterministic finite-state machine 约束的 neuro-symbolic planning：LLM 负责提出科学步骤和修订方案，显式状态、操作权限及物理规则决定何时可以推进。系统同时用符号引用压缩大型设备定义和中间产物，使长协议规划不必反复把完整 JSON 塞进上下文。 #### Research Problem 面向 wet-lab automation 的一般 LLM agent 容易在多轮规划中遗忘约束、混淆草案与可执行代码，面对大型 instrument schema 又会发生 context saturation。单靠自然语言自我检查，无法确保离心速度、温度等设备限制始终有效；一旦错误进入真实实验，后续执行往往不可逆。 #### Insight 科学合理性与物理可执行性需要不同检查机制：前者依赖领域推理，后者可由设备注册表上的确定性规则验证。把它们变成状态迁移条件，可以让失败触发有针对性的修复，而不是继续生成。符号化 working memory 则保留完整工件的可访问性，同时降低决策提示中的信息负担。 #### Method 1. 建立 hybrid cognitive memory：working memory 用键保存完整工件，仅向模型投影键和语义预览；执行时再解析符号为真实参数。episodic memory 保存状态、动作和约束信号，long-term memory 按需检索领域知识。 2. 用 FSM 表达 DESIGN、VERIFY、RECTIFY 等认知阶段，并维护草案、代码及 scientific/physical verification 的状态。优先级矩阵先处理物理失败，再处理科学失败；不同状态只开放相应设计、检查或修复工具。 3. Scientific Reflector 检查实验逻辑与 controls；Physical Rule Engine 对照包含 22 类仪器的 registry 检查每个操作的可执行约束。只有代码生成且物理验证通过时才允许进入执行阶段，否则 interlock 引导修复。 4. 在扩展 BioProBench 上分别评估草案、代码、长程协议和故障注入；长程集含 9 个协议、547 个步骤，以状态控制、记忆和验证模块的实验比较检验稳定性。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1981.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1981.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1981.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1981.pdf#page=5) 核读章节：Hybrid Cognitive Memory Architecture · State-Augmented Neuro-Symbolic Plan · Neuro-Symbolic Control Engine · Neural Reasoning Policy · Hierarchical Verification Framework · Experimental Setup 核读正文架构、控制条件、验证及实验设置。实验属于模拟验证；作者的执行安全论证依赖设备 registry 完整和符号 grounding 正确，不能外推为真实湿实验的无条件安全保证。 ### BioTool: A Comprehensive Tool-Calling Dataset for Enhancing Biomedical Capabilities of Large Language Models ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2138/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a81/) #### Idea BioTool 为 biomedical tool calling 构建可微调数据，覆盖 NCBI、Ensembl、UniProt 的 34 类工具与 124 个 endpoints。它先从可执行且有生物意义的调用生成真实风格问题，经信息支持检查与人工修订，再训练小模型作为专门 API caller 为主 LLM 提供证据。 #### Research Problem 生物数据库使用专门 identifiers、参数语法和接口约束，通用 tool datasets 覆盖不足，而少量 in-context 示例无法教会大量复杂使用情境。即使输出语法合法，返回内容也可能空白、与问题无关或没有足够生物意义，因此需要端到端的数据质量筛选。 #### Insight 从先验证过的 API observations 反向生成 query，使监督目标和可获得证据直接对应；再检查返回内容是否支持用户意图，减少仅学会合法调用而未取到相关事实的样本。小 caller 与最终回答模型分工，也使专门接口知识可以独立训练和复用。 #### Method 1. 人工筛选常用、稳定且相关的数据库工具，收集官方 API documentation，并选择 taxon IDs、gene symbols、accessions 等关键参数，随机组合候选调用。 2. 实际执行候选，剔除错误、timeout 和 empty responses；启发式去掉过度相似或无生物意义的返回，形成有效调用池。 3. 以 API、documentation、observation 和人工 few-shot examples 提示 o3 先概括结果再生成自然问题，避免直接暴露接口；另用 Claude judge 检查 observation 是否提供相关事实或支持性摘要。 4. 具 bioinformatics 背景的人工审校者删除低质量问题并修订术语与措辞，得到 7040 query–API pairs，按四比一随机划分用于 SFT 与 held-out evaluation。 5. 评估真实执行后的 observation similarity，MedCPT embedding 衡量与参考事实相近程度，另报告 API success/EM；将 caller 取回的 observation 交给 base LLM 并以专家评价下游回答。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2138.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2138.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2138.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2138.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2138.pdf#page=6) 核读章节：Dataset Construction Pipeline · Data Statistics · Experimental Results · Experimental Setup 核读调用先行合成、信息过滤与执行评估；informativeness rubric 接受支持意图的部分信息，不能将其说成每个 observation 完整回答全部问题。结果为数据集内随机 held-out 任务表现。 ### FinSight: Towards Real-World Financial Deep Research ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.265/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d29/) #### Idea FinSight用Code Agent with Variable Memory将财务数据、工具和其他agents共同放入可编程变量空间，让financial deep research通过实际数据操作与递归协作产出多模态报告。系统先生成带证据和图表的Chain-of-Analysis，再编排完整报告，并用视觉反馈迭代修正绘图代码。 #### Research Problem 通用deep research通常围绕网页文本搜索和单次写作，难以可靠计算异构财务表格，也容易缺乏分析深度、专业图表与一致引用。把大量原始数据反复塞进文本context会浪费空间并增加数值推理错误；固定的数据收集到写作流水线又难以在分析中发现缺口后补取材料。 #### Insight 金融研究的关键对象可以保持为DataFrame等执行对象，由模型查看元数据后按需调用和运算，而无需把全部状态转成自然语言。把分析与叙事分开可先建立可追溯的分析片段，再围绕outline复用证据；图表实际渲染后的问题也可通过VLM反馈进入代码修订回路。 #### Method 1. 构建包含data、tool与agent三类对象的统一变量空间。各agent读取变量元数据、生成reasoning及Python action，经解释器执行更新状态；Data Collection、Data Analysis和Report Generation拥有不同工具与数据权限，可调用Deep Search补足信息。 2. 收集API表格、网页及PDF信息后，Data Analysis并行处理多个分析视角，生成CoA segments；引用先以自然语言source placeholders产生，再用BM25匹配数据元信息并设阈值筛除低可信匹配。 3. 分析agent生成图表描述、数据和绘图代码，执行后交VLM检查标签、颜色等视觉问题并迭代修改；为图表生成caption，用embedding retrieval把正文中的import描述匹配到已生成的图像。 4. Report Generation先拟outline，再逐节检索相关数据和CoA，沿用第一阶段建立的引用和图表标识写出报告；在10个公司、10个行业研究目标上，以券商长报告作为参照，通过事实、分析价值和呈现方面的指标及人工评价比较系统。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.265.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.265.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.265.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.265.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.265.pdf#page=5) 核读章节：2.1 Problem Formulation · 2.2 The Framework of FinSight · 2.3 Code Agent with Variable Memory · 2.4 Two-Stage Writing with Generative Retrieval · 2.5 Iterative Vision-Enhanced Mechanism for Visualization · 3.1 Benchmark Construction 核读架构、变量操作、两阶段写作与图表修订正文。Actor-Critic只作为视觉迭代的启发，所读方法未展示通过该机制更新模型权重，故不描述为RL训练。专业质量与降低hallucination为实验性结论，不等于财务结论或引用完全正确的保证。 ### GCA Framework: A GCC Countries–Grounded Dataset and Agentic Pipeline for Climate Decision Support ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1967/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a74/) #### Idea GCA 将 Gulf Cooperation Council 六国的气候知识、时序环境图和可调用工具组织为统一 dataset 与 agentic pipeline，让回答既能引用地区政策背景，也能查询空气质量、遥感或天气等具体信息。其核心贡献是构建地区化数据与工具使用训练、评估链路，而不只是给通用模型加入一个气候角色提示。 #### Research Problem 通用 climate QA 对 Gulf 地区政策、城市和环境特征覆盖不足，通常也缺少把文本、时序图像与实时外部工具结合的训练信号。即使模型知道气候概念，也可能选错工具、参数或单位，无法支持具体城市和时间范围内的决策问题。 #### Insight 地区知识 grounding 与工具执行正确性是两个互补瓶颈。保留来源、时间、地点和单位，可以把生成问答及工具返回与可追溯证据关联；将 tool selection、arguments 和 answer synthesis 分别评估，则能定位最终答案之外的流程错误。 #### Method 1. 构建约 20 万条 GCA-DS，覆盖 Bahrain、Kuwait、Oman、Qatar、Saudi Arabia、UAE。文本流程从政府政策、机构报告、研究与新闻检索，保留 URL 等 provenance，去重后按 512-token chunk、384-token stride 提取有来源指针的 atomic facts，再生成多种问答。 2. 视觉流程读取 ERA5、CAMS、GloFAS 等环境数据，对城市坐标取网格数据，统一单位、时间和缺失值处理；从历史数据形成非重叠 90 天窗口、标准化图表与元信息，生成异常、比较、预测和插补等问题。 3. 以 Qwen2.5-VL-7B 做 LoRA instruction fine-tuning，混合文本、视觉与工具调用样例。工具覆盖遥感土地、生物多样性、网页、碳、空气质量以及天气气候水文六类，并统一 typed calls 与返回格式。 4. 控制器识别意图、选择必要工具、验证 schema 和单位、按依赖串联调用，最后结合地点、时间与返回证据作答；benchmark 分别统计 instruction、tool、argument、summary 和最终答案正确性。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1967.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1967.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1967.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1967.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1967.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1967.pdf#page=7) 核读章节：Curation of GCA-DS · Textual Data Generation · Visual Temporal Data Generation · Tool Suite Overview · Binding Tools to the LLM · Agentic Reasoning and Control · Fine-tuning Setup · Agentic Benchmark for Tool Usage 核读数据生成、工具绑定、训练及评测设计。大量 QA 来自自动合成，正文报告的是部分专家引导验证；图表预测任务的设置本身不等于证明长期气候预测可靠性。 ### Interleaved Tool-Call Reasoning for Protein Function Understanding ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.592/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a33/) #### Idea PFUA 将蛋白功能问答的推理与领域工具交错：LLM 分解问题、按需要获取 sequence statistics、homology、domain 和 membrane topology evidence，再修订功能假设并生成解释。核心改变是让推理获得新的生物证据，而非仅延长文本 CoT。 #### Research Problem 作者的 R1-style SFT/GRPO pilot 在蛋白问答中容易学高频术语以获得部分词汇奖励，随后收益平台化。序列到生物功能是知识密集问题，单靠内部语言推导难补足进化关系、结构约束或 curated annotations，直接套用数学 reasoning 训练因此受限。 #### Insight 不同工具在不同层次限制候选：基础统计做 sanity check，Pfam 限定 fold/domain 家族，TMbed 约束定位，homology 提供具体功能参考。将这些结果视为可审计证据并相互检查，比把某个 domain hit 直接等同精确功能更符合生物推断需求。 #### Method 1. 通过统一 executor 暴露四类工具；basic-properties 计算长度、最长 hydrophobic run 与 low-complexity index，用于识别膜相关或重复序列等早期线索。 2. MMseqs2 搜索 curated Swiss-Prot，按 E-value/bit-score 等确定 best hit，再抽取 FUNCTION、catalytic reactions、EC、cofactor、location 和 GO 的结构化证据。 3. 用 Pfam-A HMM scan 获取显著 domain hits、边界、coverage 和 confidence，将其用于机制/架构假设；TMbed 输出 residue-level topology 与膜相关性，辅助 localization/GO 判断。 4. 在线 LLM 根据问题和已有输出逐步选择工具、更新假设并形成回答，比较 text-only、一次附加 multi-source RAG 与 interleaved tool-powered 设置。 5. 在 Mol-Instructions、UniProtQA、PDB-QA 和 CAFA 上评估，主指标采用 reference-normalized ROUGE recall，并对原 text reasoning pilot 与工具结果作分析。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.592.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.592.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.592.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.592.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.592.pdf#page=5) 核读章节：Methods · Sequence basic properties · Homology search with MMseqs2 · Pfam domain analysis · TMbed transmembrane topology prediction · Experimental Setup 核读工具实现与实验协议；正文主指标是词汇覆盖型 recall，不能直接等同生物机制正确性或新功能实验验证。关于 RL 不能补知识是作者对此 pilot 的解释，不外推全部 RL。 ### MedMCP-Calc: Benchmarking LLMs for Realistic Medical Calculator Scenarios via MCP Integration ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.221/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a5/) #### Idea MedMCP-Calc把medical calculator评测从给定病历和公式的计算题，扩展为agent主动查询EHR、识别含糊临床目标、选择计算器并执行多步计算的交互任务。MCP连接数据库、搜索和Python，使结果错误能够被进一步定位到证据获取、计算器选择或数值运算。 #### Research Problem 静态medical benchmarks往往直接提供病人信息或指定calculator，绕过真实流程中最关键的参数查找、用户意图理解和计算器组合。只检查最终数字无法辨别模型是选择了错误评分系统、漏查输入，还是计算本身出错，也不足以衡量通用tool-use agent在复杂EHR中的操作能力。 #### Insight 把必要输入留在数据库、把任务指令写成自然临床需求，模型就必须先决定需要哪些证据，再建立计算流程。用已有calculator网站核验每个中间输入和输出，可将整体失败拆解为具体能力；这种设计评测的是受控工作站里的任务执行，而不是仅测记忆公式。 #### Method 1. 在医生参与下建立四大领域125类场景；收集MDCalc、Medscape、QxMD的1970条calculator记录，通过语义去重及人工清理得到1173种，再匹配到场景。 2. 由GPT-5根据候选计算器生成多步workflow，经人工检查调整后自然化为不明确指名计算器的query；建立九表医院式schema，将MIMIC-IV中49419位完整记录患者映射入库，再结合相近病例合成并校验任务记录。 3. 以PostgreSQL MCP提供run_sql、list_tables、describe_tables，以搜索服务器提供search/fetch，以Python服务器完成数值运算；agent在规划、调用、观察之间循环，直到给出答案或达到轮数限制。 4. 逐项人工核查任务、calculator名称、输入与网站参考输出，筛成118项任务；分别统计Task Fulfillment、Calculator Selection、Quantitative Precision及Evidence Acquisition，以执行轨迹和标准输入输出衡量完成、选择、计算与数据获取。 #### Sources & Reading Scope [PDF p. 4](https://aclanthology.org/2026.acl-long.221.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.221.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.221.pdf#page=6) 核读章节：3.1 Formalization · 3.2 Component · 3.3 Pipeline · 3.4 Characteristics · 4.1 Settings 依据正文的完整benchmark pipeline与指标定义；EHR包含真实数据映射和任务特定合成记录，不将全部案例写成真实临床事件。QP分母为实际调用的calculators，CS依据任务所需calculators，EA核对必需输入；benchmark表现不被外推为真实医疗决策效益。 ### MolMem: Memory-Augmented Agentic Reinforcement Learning for Sample-Efficient Molecular Optimization ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.2024/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e233/) #### Idea MolMem 在多轮 molecular optimization 中同时利用静态分子 exemplars 和训练过程积累的 editing skills，并让 retrieval 与 agentic reinforcement learning 共同工作。模型遇到属性改进停滞时，可以借鉴邻近分子或过去成功的结构编辑，再继续提出满足 lead similarity 约束的新分子。 #### Research Problem LLM 分子优化在有限 oracle budget 下容易反复尝试无效编辑，单次生成又难以利用先前候选的反馈。仅检索已知高分分子可能变成复制 exemplar，纯 RL 则需要反复支付探索成本，且缺少把有效局部变换迁移到其他结构的显式机制。 #### Insight 具体分子和抽象编辑规律提供不同粒度的先验：前者给出可行邻域，后者说明在何处做何种改变及预期作用。将检索限定在 plateau 时触发，既能针对探索困难补充信息，也减少常态上下文开销；把高回报编辑转成可检索技能，使每轮训练的经验成为后续 rollout 的输入。 #### Method 1. 将问题写成多轮 MDP：状态包括优化目标、lead molecule、历史 SMILES 和奖励，动作是新候选 SMILES，oracle 返回属性与相似性相关反馈。先用满足相似性约束的离线编辑对进行 SFT warm start。 2. Static Exemplar Memory 从 ChEMBL 建立带预计算 QED、LogP 的分子库，用 ECFP4 Morgan fingerprints 与 FAISS 检索；停滞时先找当前分子的近邻，再按与原始 lead 的相似度筛选、按目标属性排序，并惩罚直接复制检索分子。 3. Evolving Skill Memory 从高奖励增量的编辑对出发，利用 maximum common substructure 提取增删片段、scaffold、functional groups 与 descriptor 变化，概括成 Action–What–Where–Effect 技能卡；以编辑前 fingerprint 和 functional-group tags 建立任务相关索引。 4. 停滞时按 fingerprint Tanimoto 和 functional-group Jaccard 检索、排序技能；两类记忆同时触发时随机选择一种控制上下文预算。PPO 配合逐步奖励和 GAE 优化多轮策略，成功轨迹继续更新技能库。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2024.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2024.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.2024.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.2024.pdf#page=5) 核读章节：Problem Formulation · Multi-Turn MDP Formulation · Agentic Memory System · Static Exemplar Memory · Evolving Skill Memory · Memory-Augmented Rollouts · Memory-Augmented Policy Optimization 核读 MDP、双记忆、rollout 与 PPO 方法。正文具体实现的 retrieval 在 plateau 后触发；属性优化证据来自所定义的计算 oracle，不能自动解释为实验测定的药物效果。 ### MTSQL-R1: Towards Long-Horizon Multi-Turn Text-to-SQL via Agentic Training ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1563/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e191/) #### Idea MTSQL-R1 将 multi-turn Text-to-SQL 改写为在数据库与持久 dialogue memory 中运行的 Agent 训练问题。模型不仅提出 SQL，还要执行、检查执行反馈、检查跨轮语义并自我修正，再提交答案；通过 self-taught SFT 与 curriculum RL 学习完整恢复轨迹。 #### Research Problem 逐轮直接翻译问题无法充分利用前文实体和条件，生成的 SQL 即使可以执行，也可能丢失用户沿用的约束。单纯最终 EX/EM 奖励又难指导长链中间动作，需要同时解决可执行性、对话一致性与长 horizon 的训练稀疏性。 #### Insight 数据库执行反馈和 memory verification 提供互补信号：前者暴露错误或空结果，后者检查查询是否维持跨轮条件。作者以含修正过程的自生成轨迹建立动作基础，再按题目成功率安排 RL 难度。这里的验证是模型判断与 gold SQL 对齐所构成的训练机制，不能等同于形式化证明用户意图。 #### Method 1. 将状态定义为历史对话、schema、当前问题、memory、候选 SQL 与执行观测，动作包括 PROPOSE、EXECUTE、E-VERIFY、M-VERIFY、SELF-CORRECT、FINALIZE；执行和两类检查构成有失败回路的控制流程。 2. SFT 逐题采样 20 条轨迹，仅保留最终 SQL 符合 gold 的样本；容易题偏选短轨迹，困难题保留多次交互轨迹，并以 embedding 聚类选择代表样本。迭代训练并移除已获得高质量轨迹的问题。 3. RL 前按多次 rollout 的 EX/EM 成功次数分层，剔除全部成功的题目，分成由易至难的连续训练批次；模型输出 token 参与训练，指令、执行结果等环境 token 被 mask。 4. 奖励组合最终执行结果匹配 EX、严格文本匹配 EM，以及 SELECT、WHERE、JOIN、GROUP、ORDER 的 clause F1；提出和修正动作、执行判断、memory 判断各贡献过程分量。加权后形成轨迹总奖励，GRPO 的组内归一化 advantage 仍分配给该轨迹的全部模型 token。 5. 以 SParC、CoSQL 的多轮任务比较不同规模模型及训练阶段，利用 EX/EM 和长短交互设置检验最终查询正确性与恢复能力。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1563.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1563.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1563.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1563.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1563.pdf#page=6) 核读章节：Agentic Task Formulation · Self-Taught Supervised Fine-Tuning · Curriculum Reinforcement Learning 已核读任务状态、六种动作、SFT 轨迹选择和 RL 奖励正文；执行有效性与语义正确性区别为分析。过程奖励汇总成 trajectory reward，不声称使用逐动作 advantage。 ### PExA: Parallel Exploration Agent for Complex Text-to-SQL ACL 2026 · Short · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-short.48/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e254/) #### Idea PExA将复杂Text-to-SQL视为收集语义测试证据后再合成完整查询的问题。Planner设计独立的探索性SQL tests，Test Case Generator并行执行并修正，SQL Proposer只使用这些提炼后的证据构造最终SQL；并行性同时用于规划、执行与单次生成中的多路径候选，以改善准确率和等待时间的折中。 #### Research Problem 企业数据库含大量列、嵌套类型与长查询，直接生成SQL容易遗漏过滤、join或aggregation语义。传统agent通过串行工具调用和self-correction提升成功率，却把推理及数据库等待逐步累加；普通query decomposition只处理题内子问题，也可能错过用于辨别schema和值分布的外围信息。 #### Insight 独立的小SQL能探查表结构、取值和中间结果，形成可执行的局部证据；这些探查不必完全局限于用户题目中的直接子句。先扩大证据覆盖，再集中合成，可以减少最终生成的schema噪声；相互独立的探索还允许并发执行，使等待更接近最慢路径而不是所有路径之和。 #### Method 1. Planner在单次生成中提出多种自包含test case，覆盖过滤、连接、聚合、存在性及相关外围信息，并决定继续探索还是将已收集证据交给Proposer。 2. Test Case Generator先做偏重recall的schema linking与database compression，针对每个test一次生成多种SQL候选；并发执行tests，根据编译错误、空结果或成功结果修正探索。 3. Proposer接收原问题及已执行tests，不接收完整database metadata，组合局部证据生成最终长SQL；SQL Executor检验执行，Semantic Verifier把SQL反译为自然语言后与原题比较，Planner最终审查。 4. 在Spider 2.0-Snow和排除BigQuery的Lite*上评估Execution Accuracy、EX@4及平均wall time，并通过移除并行规划、并行测试、verifier与Proposer做消融；主系统还用四次运行的majority consensus做inference-time scaling。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-short.48.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-short.48.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-short.48.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-short.48.pdf#page=4) 核读章节：3.1 A Software Testing Perspective · 3.1.1 Sub-Agents · 3.1.2 Tools · 3.2 Parallel Exploration · 4 Experiments and Results · 4.1 Main Results 测试coverage为语义探索范式，不是对最终SQL正确性的形式证明；empty result在系统中作为NULL Error处理，并不代表所有合法问题都应非空。论文说明gold outputs曾更新，70.2%来自更新评价，而正文表格与多数消融使用旧设置，未直接混比这些数值。 ### QBridge: Bridging Natural Language and SQL via Gold Query Rewriting with Agentic Refinement ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.402/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e39/) #### Idea QBridge 在自然语言问题与 SQL 之间加入 Gold Query：按 SQL clause 顺序组织、仍以自然语言表达的 schema-aware 中间表示。系统先规范化用户意图，再分别审查 rewrite 和 SQL，使语言歧义能够在符号查询生成前被定位和修正。 #### Research Problem 单次 Text-to-SQL 解码要同时理解含糊问题、关联 schema 和生成严格语法，早期误解会扩散到 joins、conditions 和 aggregations。已有 schema linking 或 SQL repair 多在解码层补救；较形式化的 IR 又可能丢失语言线索，并保留原问题的歧义。 #### Insight 训练时可用 gold SQL 提供明确语义，把它反向转成经执行验证的自然语言监督；推理时轻量 rewriter 只需问题和 schema，就能继承这种对齐行为。执行成功不能证明意图正确，因此 SQL 修复还需将查询反向解释，与已审核的意图比较。 #### Method 1. 定义 Gold Query Norm，按 SELECT、FROM、JOIN、WHERE、GROUPBY、ORDERBY、LIMIT 槽位显式表达 clause semantics。教师读取问题、schema 与 gold SQL 生成 rewrites，再由固定 SQL generator 回译，保留可执行且结果与 gold 一致的样本。 2. 用上述 Distilled Back-Translation 数据对 student rewriter 做 SFT，使其仅从问题和 schema 产生 Gold Query，推理不依赖 gold SQL 或显式 token-level schema linking。 3. Rewrite Reviewer 按语义等价、槽位、排序分组、join、条件和 schema 等清单诊断问题，Rewrite Refiner 只执行必要的局部修改，避免补入无依据的属性和条件。 4. SQL backbone 从审核后的 rewrite 生成候选，结合执行结果与 reverse deduction 的语义差异迭代修正；字符串大小写通过数据库 case-insensitive exact lookup 规范化。以 Spider、BIRD 及鲁棒性变体评估，并统计整个多阶段流程的 tokens、时间和费用。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.402.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.402.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.402.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.402.pdf#page=5) 核读章节：Refined Gold Query Paradigm · Distilled Back-Translation for SL-Independent Rewriting · Feedback-Driven Query Refinement · Feedback-Driven SQL Refinement · Experimental Setup 核读中间表示、蒸馏和两级反馈正文。SQL backbone 的 zero-shot 设置不表示整个系统无训练；rewriter 使用 gold-SQL-derived 监督，执行一致性也不构成一般语义等价证明。 ### ReCoQA: A Benchmark for Tool-Augmented and Multi-Step Reasoning in Real Estate Question and Answering ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1242/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/a53/) #### Idea ReCoQA 将房地产问答组织为跨结构化房产数据与地图工具的 benchmark，提供 29,270 条问题及 intent、slot、SQL、API 参数、中间结果与答案。配套 HIRE-Agent 将语义理解、计划、数据库查询和地图推理分工，检验跨源、多步骤任务能否完成。 #### Research Problem 传统 Text-to-SQL 数据主要覆盖静态表查询，地图或通用工具 benchmark 又不充分涉及房产属性与地理条件的联合约束；单条最终答案无法定位失败来自意图识别、schema 选择、工具参数还是跨步推理。 #### Insight 房地产需求天然把价格、社区属性与通勤或周边设施联系起来，因此数据和工具必须共享社区、POI 与坐标。作者通过完整执行链验证答案，并用中间标注定位错误；其可重复性来自缓存真实 API 返回，不能将评测表现理解为不断变化的在线地图环境表现。 #### Method 1. 收集中国八城社区及六类 POI，由专业人员标注属性并用 Amap 地理编码；每城构建社区、POI、3km 内 POI—社区和 1km 内社区—社区等 PostgreSQL 表。把地图接口整合为时间、距离、周边 POI、早晚高峰四类高层函数。 2. 以 16 种信息需求、41 个模板生成 45,040 条候选，覆盖静态 SQL、SQL+API、结果上再推理三类问题；用 Qwen2.5-72B 改写语言并保留 slot，通过模型与人工抽样检查自然度。 3. 执行唯一 Amap 请求一次并缓存真实返回，使正式工具调用可查询本地数据；验证有序 SQL/函数轨迹并过滤执行失败或不合理实例，得到 29,270 条。标注 16 类 intent、19 类 IOB slot，按模板分层作 8:1:1 划分。 4. HIRE-Agent 的 BERT 前端提取 intent/slot，Supervisor 生成步骤并派给 Database Interaction 或 Map Reasoning specialist；综合返回证据，在错误或无法完成时重规划、重分派或修改参数，达到步骤上限则报告失败。 5. 数据库 specialist 先生成理想表 caption，以 BM25 检索实际 caption/schema，再利用五个示例生成并执行 SQL；地图 specialist 根据问题、slot 和坐标选择函数、执行缓存工具并比较结果，缺失坐标或无法解析的返回交回 Supervisor。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1242.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1242.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1242.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1242.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1242.pdf#page=6) 核读章节：Data Collection and Preprocessing · Tool and Function Definition · QA Pair Generation · Tool Implementation via API Caching · Data Annotation and Verification · HIRE-Agent 已核读构建、缓存协议、标注与 HIRE-Agent 正文。模板分层划分不等于 unseen-template 泛化测试；未将 API caching 描述为正式评测中实时访问地图服务。 ### ShopSimulator: Evaluating and Exploring RL-Driven LLM Agent for Shopping Assistants ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1647/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e198/) #### Idea ShopSimulator在中文商品环境中同时引入多轮需求澄清、长期个性化profile和高度相似商品辨别，并提供可用于RL的reward。它让shopping agent既要问清当前需求，又要正确使用已有偏好，再通过搜索、浏览和选项选择完成购买式任务，形成训练与评测共用的交互环境。 #### Research Problem 已有shopping环境通常给出固定且完整目标，难以测试agent何时需要提问、如何区分即时约束和长期偏好；随机商品池又可能使目标过于容易识别。仅有评测数据而缺少训练接口，也无法研究agent如何从失败中学习细粒度属性、选项和价格约束。 #### Insight 真实购物成功由多个条件共同决定，某一关键尺寸或价格不满足就不能以其他匹配项补偿。相似商品池提升选择难度，profile中保留一部分需求则防止模型只读当前指令；比较additive与multiplicative reward，可检验部分满足的奖励是否会掩盖瓶颈约束。 #### Method 1. 从Taobao商品快照按曝光及类目质量筛选，在细分类中保留约120个相近商品，建立Catalog-Fine及约130万商品的Catalog-Full；由人工根据metadata写自然指令，并核查目标商品的唯一对应关系。 2. 从商品—任务对生成并人工修订结构化profile，把长期偏好移出当前instruction；LLM shopper从模糊需求开始，只有在agent追问时逐步揭示必要属性，形成单轮、多轮及各自个性化版本。 3. 环境提供search、浏览、click和购买等文本操作；loose reward在category匹配下平均属性、选项及价格满足度，strict reward将这些项相乘，另以全部要求都满足的binary success评估完整完成。 4. 实验因资源和延迟使用Catalog-Fine；训练比较直接GRPO与先用GPT-4.1成功轨迹做SFT后再GRPO，并分别尝试loose、strict reward。错误分析分解搜索、选择、购买确认、个性化和simulated shopper问题。 #### Sources & Reading Scope [PDF p. 3](https://aclanthology.org/2026.acl-long.1647.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1647.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1647.pdf#page=5) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1647.pdf#page=7) 核读章节：2.1 Task Formulation · 2.2 Environment Construction · 2.3 Rewarding · 2.4 Statistics · 3.1 Evaluation Settings · 4.1 Training Settings · 4.2 Training Results 核读数据、交互、两类reward和RL实验正文。大catalog是环境资源范围，正文后续训练与评估实际使用Catalog-Fine；profile为合成并人工修订，shopper为LLM模拟。SFT+strict RL优于所比较配置是作者实验结果，不外推为所有shopping任务的最优训练方式。 ### SQL-Trail: Multi-Turn Reinforcement Learning with Interleaved Feedback for Text-to-SQL ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1677/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/d168/) #### Idea SQL-Trail 把 Text-to-SQL 训练目标从一次输出查询转向 reason–execute–observe 多轮过程，使模型能主动查值、试探 schema 并根据真实 SQL engine 的报错修正。两阶段训练同时学习交互格式、最终正确性和有预算的探索行为。 #### Research Problem single-pass SFT/RL 即使加强内部 reasoning，也不能利用数据库实际内容与执行反馈来消除列名、值和 join 歧义。直接对小模型做多轮 RL 又容易遇到格式错误、提前调用或循环；只奖励最终执行正确会让有限数据下的大多数轨迹获得相同零分。 #### Insight 数据库反馈可以把抽象推理变成可检验的中间操作，而多项规则奖励能在最终失败时仍区分语法、schema grounding 和交互行为。先蒸馏可靠的工具使用结构，再用 group-relative RL 学习探索，可以降低训练初期无效 rollout 的比例。 #### Method 1. 采用 ReAct-style SQL engine 接口，每轮生成 reasoning 与 SQL，执行后返回结果、错误或截断 dataframe；模型输出 solution 或达到 turn budget 时结束，训练时每个问题采样 6 条轨迹、最多 10 轮。 2. 从 Spider 问题生成教师多轮轨迹，筛出 1,000 条最终正确、偏中高难度示范，对 Qwen2.5-Coder 做 SFT。RL 使用 1,027 个问题，包括 700 个 hard-but-solvable 难度平衡样本和 327 个持续失败的探索样本。 3. 采用去掉 KL 项的 GRPO，并提高上侧 clipping 范围以鼓励原本低概率的有益探索。总奖励以最终执行一致性为主，加入与难度相关的轮数奖励、schema 与 bigram Jaccard、语法和接口格式奖励。 4. 分别用 greedy Pass@1、8 次采样的执行结果 majority vote 和 Pass@k 评测；Spider 衡量同分布表现，未参与训练的 BIRD 与 Spider 变体考察迁移和语言鲁棒性，并以每千训练样本的 EX 增量定义数据效率。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1677.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1677.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1677.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1677.pdf#page=5) 核读章节：Generation with Multi-Turn SQL Engine Calling · Training phase 1: Supervised Fine-Tuning · Training Phase 2: Multi-turn Reinforcement Learning with a SQL Engine · Multi-turn Reward Design · Training data curation · Benchmarks and Evaluation 核读训练、奖励和数据划分。正文 clipping 区间文字有符号不一致，笔记依据公式及 clip-higher 解释描述，不照抄错误边界；效率指样本归一化 EX 增益，而非总计算成本。 ### UniDataBench: Evaluating Data Analytics Agents Across Structured and Unstructured Data ACL 2026 · Long · 直接工具使用 [官方论文](https://aclanthology.org/2026.acl-long.1556/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e190/) #### Idea UniDataBench 评测从高层业务目标出发、联合 CSV、SQLite、NoSQL 与文本发现 insight 的数据分析 Agent；它以真实行业报告的结论为起点合成可分析数据，并提出 ReActInsight 先发现跨源连接、再规划和执行分析的系统。 #### Research Problem 已有 benchmark 多询问单个明确答案或限于 CSV，难检验 Agent 能否把开放分析目标拆成问题、发现异构数据关系并形成有证据的总结。真实报告又通常不公开敏感原始数据，因此不能简单把公开结论配上真实完整数据库。 #### Insight 将报告 insight 与支持它的数据构造分开，可以保留业务逻辑并获得可重复评测。对于 Agent，先建立字段与样例值的共同目录再产生 join hints，能把跨源关系显式传给代码生成器；这仍是启发式候选连接，并非保证正确的 schema matching。 #### Method 1. 专家从真实业务报告提取 Trend、Comparison、Extreme Value、Attribution 四类 insight，再抽象为高层目标并独立交叉验证；LLM 依据领域背景生成多源 schema，人工检查并加入无关但合理的干扰字段。 2. 生成 Python 脚本合成结构化数据，另以目标信息扩写模拟文本；专家核看可视化以确认目标 insight 可发现。最终 100 个任务、223 文件、439 个 insight，按所需格式数量分为单格式、双格式和三至四格式难度。 3. ReActInsight 对各数据源采样 schema、类型和示例，文本形成 pseudo-schema；全局字段别名构成 MetaGraph。类型相容字段按名称精确匹配与样例集合 Jaccard 的加权分数连成 EntityGraph，并选择最高分连接生成 join hints。 4. ReAct 层次规划把目标拆成子目标和可执行问题；将 join hints 注入 SQL/Python 生成，在 sandbox 执行，依据原代码、错误和子目标自我修正，并按任务生成时间序列图、散点图等证据。 5. 汇总各步结果形成 insight 和报告，简单任务用较小模型、复杂或反复失败任务升级模型。评测给各 baseline 相同原始格式访问能力，以 G-Eval 评估 insight 与 summary。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.1556.pdf#page=1) · [PDF p. 3](https://aclanthology.org/2026.acl-long.1556.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.1556.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.1556.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.1556.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.1556.pdf#page=7) 核读章节：The proposed UniDataBench · Data Synthesis and Validation · The Proposed ReActInsight · Architecture of ReActInsight · Optimization via Model Cascading · Experimental Setup 已核读构建、跨源链接公式、执行循环和评价协议。原始结论来自报告，但用于评测的数据含合成部分；不把 Attribution 类别直接视为因果识别证明。 ### LLM-Based Multi-Agent Systems for Clinical Workflows: A Survey of AI Hospitals ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.2123/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e242/) #### Idea 这篇 Survey 用 workflow state transition 组织 AI hospitals 研究：agent 不仅回答医学问题，还需承担明确 role、传递 shared state、关联 evidence、使用 tools，并在 safety gates 下推进或 escalation。论文据此建立设计 taxonomy、四层 evaluation stack 与 Integration Readiness Levels，讨论什么证据能够支持更强的 autonomy。 #### Research Problem 医疗 multi-agent 论文常按角色数量、模型模块或最终 QA accuracy 比较，但真实 workflow 的失效可能发生在 handoff、记录更新、API 调用或责任交接中。静态 benchmark 的提升无法直接说明系统能否保持跨步骤证据与可追溯性。Survey 研究如何界定 AI hospital、描述设计差异，以及把评估结果转化为可检查的 readiness evidence。 #### Insight 多 agent 的价值需要落在可观察的 workflow 行为上，例如 handoff 是否完整、引用能否追溯到 record、何时将不确定案例交给人。更强 retrieval 或 long-context 能力只有改变这些指标才支持集成主张。论文明确将 simulation、真实数据 replay 与 deployment evidence 分开；所提 IRL thresholds 是需要按场景调整的 protocol defaults，不是通用认证标准。 #### Method 1. Scope 与 taxonomy：把具有 persistent state、跨 role handoff、grounded tools、safety gates 和 audit traces 的系统纳入 AI hospital 范围；按 Roles & Handoffs、Memory/Evidence/Tools、Reasoning/Control/Escalation 组织设计空间。 2. Workflow mapping：以 triage → consultation → discharge 为贯穿示例，逐阶段记录谁负责、哪些 state/evidence 必须传递，以及什么 gate 可以阻止或升级下一步，避免只比较独立模块。 3. Evaluation stack：联合检查 safety、process、outcome 与 operations；将模型能力映射到 citation coverage、handoff completeness、escalation、tool failure、latency 等 observable，并为不同 integration tasks 指定必要 logs。 4. Readiness framework：IRL1–IRL6 从 sandbox、shadow replay、有限 human-in-the-loop pilot 逐步走向受监控 rollout，配套 autonomy ceiling 与证据要求；再用 longitudinal drift、capacity-blind planning 等 failure modes 组织研究议程。这里的 Method 是综述分析框架，没有声称训练一个新临床 agent。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.2123.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.2123.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.2123.pdf#page=3) · [PDF p. 6](https://aclanthology.org/2026.acl-long.2123.pdf#page=6) · [PDF p. 7](https://aclanthology.org/2026.acl-long.2123.pdf#page=7) · [PDF p. 8](https://aclanthology.org/2026.acl-long.2123.pdf#page=8) 核读章节：Core Design Space · The Evaluation Stack · Instrumentation for Clinical Integration Tasks · IRL-Based Gating from Sandbox to Deployment · Failure Modes and Roadmap 依据 Survey 的 scope、taxonomy、Tables 2–4 和 readiness 讨论整理；这些是论文提出的评估与设计框架，并非对某个系统已经通过真实临床部署验证的证明。 ### Ready Jurist One: Benchmarking Language Agents for Legal Intelligence in Dynamic Environments ACL 2026 · Long · 扩展相关 [官方论文](https://aclanthology.org/2026.acl-long.471/) · [在线笔记](https://boran002.github.io/papers/agent-tool-use-2026/reading/e50/) #### Idea J1-ENVS 将法律 agent 放入由多个角色互动的动态环境，覆盖 consultation、document drafting 和 judicial adjudication；J1-EVAL 同时评价最终输出与执行过程。任务要求 agent 主动获取角色持有的信息、推进规定程序并完成交付，从而检查法律知识能否转化为连续的行动能力。 #### Research Problem 静态法律 QA 容易把 statute recall 与实际 legal intelligence 混为一谈，但真实流程涉及信息不对称、不同当事人、文书结构和程序约束。论文研究如何构造有事实依据且能持续交互的环境，以及如何发现最终答案指标看不到的 procedural failures；研究场景主要依据中国法律实践。 #### Insight Outcome correctness 与 procedural competence 是相关但不同的维度，最终判断看似合理并不证明中间询问、证据收集和程序推进完整。将同一案件的不同事实分配给不同 roles，能够测试 agent 是否真正通过 interaction 获取所需信息。与此同时，环境角色和部分 evaluator 仍由 LLM 驱动，模拟行为与评分 fidelity 是结论的边界，不能把 benchmark 分数等同于真实执业能力。 #### Method 1. Role construction：从裁判文书和法律材料提取当事人、claims、evidence、事实和法律依据，分别配置给 layperson 与 professional roles；为非专业角色加入基于 Big Five 的行为描述，形成相互关联而非独立虚构的角色。 2. Environment hierarchy：设置 knowledge questioning、consultation、complaint drafting、defence drafting、civil court 和 criminal court 六种场景，分别定义参与者、信息获取方式、输出目标及分阶段 interaction logic。 3. Dual-metric evaluation：Outcome-oriented metrics 检查回答、文书内容或裁判结果；process-oriented metrics 检查格式、程序阶段完成、reasoning 和法条引用，结合 exact match、rule-based checking 与 LLM scoring。 4. Agent comparison：让不同通用和法律专用 LLM 扮演被测角色，以 GPT-4o 或 Qwen3-32B 驱动环境，并分析跨场景难度和 stage failures；另外检查 environment behavior consistency，避免把模拟器偏差完全归因于被测 agent。 #### Sources & Reading Scope [PDF p. 1](https://aclanthology.org/2026.acl-long.471.pdf#page=1) · [PDF p. 2](https://aclanthology.org/2026.acl-long.471.pdf#page=2) · [PDF p. 3](https://aclanthology.org/2026.acl-long.471.pdf#page=3) · [PDF p. 4](https://aclanthology.org/2026.acl-long.471.pdf#page=4) · [PDF p. 5](https://aclanthology.org/2026.acl-long.471.pdf#page=5) · [PDF p. 6](https://aclanthology.org/2026.acl-long.471.pdf#page=6) 核读章节：J1-ENVS: Interactive Legal Environments · Role Agent Setting · Multi-level Environment Construction · J1-Eval: Dual-metric Assessment System · Experiments 依据正文 role setup、场景流程和 metric table 整理。正文总实例数与分层数量相加存在不一致，本笔记不复述该数量；关于模拟评估不能直接代表执业能力的表述为分析性限定。