Temp-R1: A Unified Autonomous Agent for Complex Temporal KGQA via Reverse Curriculum Reinforcement Learning

Idea

Temp-R1 将 temporal KGQA 从固定多组件流程转为单个可训练代理，并显式区分 plan、filter、rank 等内部动作与 search 外部动作。训练先接触复杂多跳问题，再引入简单题，旨在先建立时间约束组合能力，防止过早收敛到一次搜索就回答的捷径。

Research Problem

时间知识图问答需要同时处理多跳实体关系、时间粒度、筛选与先后排序，固定 workflow 和闭源 API 组合缺乏灵活性。直接在简单题上开始 RL 容易强化最短 search→answer 模式，后续难以探索复杂动作组合；用单一 think 表达全部子过程也增加推理负担。

Insight

将时间推理操作显式分解为 action primitives，可暴露中间状态并减轻单步认知负担。对于存在明显简单捷径的数据，easy-to-hard 并非必然最佳：先迫使策略处理需要多种操作的题，再混入简单题，可能减少路径依赖并保留复杂推理能力。

Method

1. 状态由原问题和完整历史构成；要求先生成 plan，分析题型、时间约束、子问题和答案格式，再自主选择 search、filter、rank 或 answer，只有 search 调用 TKG retriever 返回外部信息。
2. 用 GPT-4o 生成带规划及推理 primitives 的正确轨迹，检查标签结构和答案，进行 cold-start SFT；损失仅作用于代理生成 tokens，屏蔽提示、问题与检索返回。
3. 以 GRPO 在 TKG 交互环境采样轨迹，使用最终答案是否等于 ground truth 的 binary reward，加 clipping 和 KL regularization 学习动作策略，不设置额外逐步骤人工奖励。
4. Reverse Curriculum 在前期仅训练复杂多跳问题，达到 warm-up threshold 后混入单跳题；在 MultiTQ、TimelineKGQA 及跨域数据上检查复杂时间推理和泛化。