ProActor: Timing-Aware Reinforcement Learning for Proactive Task Scheduling Agents

Idea

ProActor 把 proactive task scheduling 建模为每个 dialogue turn 上选择 action、参数和 readiness status 的决策，使用可接受的 opportunity windows 而非单一触发时刻作为参考。框架结合自动标注、timing 与 action consistency metrics，以及 turn-level GRPO，训练 agent 在信息足够时提前准备动作，同时控制误触发。

Research Problem

对话中的主动行为通常有多个合理时机，直接模仿一个历史 timestamp 会惩罚有效的提前行动。仅优化参数匹配可能让 agent 过于保守，仅奖励主动性又可能鼓励 premature triggering。论文研究如何获得可扩展的 timing supervision，并在长对话中提供清晰的 credit assignment，平衡什么时候做与做什么。

Insight

Proactivity 需要同时检查 action alignment 和 readiness，早并不自动等于好。Hindsight annotator 可以利用后续对话发现潜在机会，但其输出只是 reference actions，不能等同于唯一 ground truth，也不意味着部署中的 policy 能看到未来。Stage-aware composite rewards 的作用是调节探索、时机与一致性的训练重点，避免单一指标支配行为。

Method

1. 自动标注：用统一 JSON metadata 描述 MCP、REST API 和 sub-agent 等 action interfaces，生成 action catalog；oracle LLM 读取完整 conversation，逐 turn 分析 opportunity、readiness、parameters 和 quality，形成 reference action ranges。
2. 指标设计：用 AC 与 Max AC 衡量 action/parameter alignment，用 Proactive Timing、Fault Trigger Rate 和 Ready Action Rate 描述触发时机；分别检查提前行动、无参考覆盖的 ready actions 以及过度保守行为。
3. Turn-level RL：每个 dialogue turn 采样多组 candidate actions，按 metric reward、带 proactiveness rubric 的 RULER reward 或 composite reward 计算优势，执行 GRPO；adaptive variants 随训练阶段调整 timing 和 consistency 的权重。
4. 训练系统与验证：ART-F 用 adaptive vLLM inference cluster、异步 payload distribution 与 DDP 改善 rollout/training 资源分配，对 4-bit Qwen2.5-14B 做 LoRA RL；在含历史动作的 ABCD+ 和不含动作记录的 Home Loan 对话数据上评估。