AMATA: Adaptive Multi-Agent Trajectory Alignment for Knowledge-Intensive Question Answering

Idea

AMATA 将 knowledge-intensive QA 中的 Reconstructor、Retriever、Filter、Locator、Generator、Verifier 六种功能编码为可协调的 trajectory roles，并通过 adaptive preference prefixes 与 dependency-aware DPO 学习哪些角色更重要、哪些工具链应联合使用。

Research Problem

固定 multi-agent pipeline 会在简单题上做多余检索或验证，而逐 agent 独立优化又难以保持 Retriever–Filter–Locator 等下游依赖。论文研究如何根据 question 与 trajectory outcome 学习可变的角色偏好，并对成功轨迹内部的协作质量进一步排序。

Insight

Final correctness 相同的两条轨迹，agent activation 与 dependency coherence 仍可能不同；只把 correct/incorrect 当作 preference pair 无法表达这一差异。作者因此引入基于 prior knowledge 和 LLM annotation 的 dependency scores，但这些分数属于监督 proxy，不是对 agent 因果贡献的直接测量。

Method

1. 将各 role 的 action/output 与 special tokens 组织成统一 trajectory，用一个 monolithic model 学习多种角色行为；简单问题可以弱化 external retrieval 或 verification，而非始终运行六个独立模型。
2. Intra-Trajectory Preference Learning 用 LLM 标注每个角色对当前问题的重要性，形成如 <Retriever: 5> 的 prefix，条件化 SFT trajectory generation，让模型学习 question-aware role usage。
3. 收集同题 winning/losing samples；按 dependency score 选出 Top-K winning trajectories，其余即使 final answer 正确，也作为相对较弱的 rejected set，以表达协作结构上的偏好。
4. DA-DPO 使用 listwise Plackett–Luce-style ranking objective 建模 Top-K 顺序与剩余集合，之后结合基础 trajectory prediction loss 训练；在多种 knowledge-intensive QA 数据上评价答案和 token consumption。