Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward Modeling

Idea

Plan-RewardBench 将 reward-model evaluation 从单条回答或单次 function call 扩展到完整 tool-using trajectory 的 preference comparison。它在相同 task 和 tool environment 下构造强轨迹与具有迷惑性的负例，检查 judge 能否识别 planning、tool grounding、error recovery 和 refusal quality 的长期差异。

Research Problem

一个轨迹可以产生流畅答案和格式合法的 API calls，却在中途忽略错误、沿用过时约束或编造 tool results。现有短 context RM benchmarks 难测这些跨步骤依赖，简单负例又让 evaluator 靠长度或风格猜标签。论文研究如何构建可靠且难以通过表面线索解答的 trajectory-level judging benchmark。

Insight

Agent alignment 需要判断行为链是否受真实 tool feedback 支撑，不能只评价最后回复是否好听。Natural rollout errors 与保持风格的 minimal edits 能提供互补的难例，但 preference labels 仍受人工设计 rubric 与 judge panel 影响。Benchmark 评估的是轨迹区分能力；更高 pairwise accuracy 不能直接保证该 RM 用于在线 RL 后一定产生更可靠 policy。

Method

1. Candidate collection：以 Toucan/MCP tools 为基础，用 Qwen-Agent 和 OpenAI-Agent runtimes、多种模型及采样设置重新执行任务，获得自然成功与失败 trajectories，保留相同环境下的可比候选。
2. Scenario 与 negatives：覆盖 Safety Refusal、Tool-Irrelevance/Unavailability、Complex Planning 和 Robust Error Recovery；结合 natural negatives、rule-based injections 和 minimal-edit perturbations，针对 tool hallucination、stale plans、blind retry 等错误。
3. Preference validation：三个 judges 按场景 rubric 打分并给 diagnostic tags，分歧大或关键标签冲突时 meta-review，删除仍模糊的样本；按 score gap 和长度等因素组对，再独立 pairwise post-check，并进行分层 human audit。
4. Evaluator protocol：DRMs 独立打分后比较，GRMs 与 LLM judges 读取完整 tool registry、conversation 和两条 interleaved trajectories；pairwise judges 用 A/B order swap 控制位置偏差，报告七个 splits 的 macro-average accuracy 与长度相关表现。