KARL: Reinforcement Learning for LLM Agents on Multi-Turn Knowledge-Intensive Agentic Tasks

Idea

KARL 将 structured knowledge acquisition 与 multi-turn tool-use RL 联合设计：agent 在完成 KG 或 Database task 时自主决定何时获取 entity descriptions、schema 与 API knowledge，并通过 task progress、format validity 和 exploration shaping 学习利用这些信息。

Research Problem

只把额外知识放进 initial prompt，并不能保证 agent 会正确检索、解释和使用；长工具链中的 sparse reward 又使知识探索价值难以学习。论文研究如何建立可扩展的 interactive knowledge environment，并把 acquisition 与 utilization 一起纳入 policy optimization。

Insight

Knowledge augmentation 的收益取决于 policy 是否学会在合适状态获取和使用信息，知识量增加本身不必然带来更好表现。作者把 novelty 作为 exploration proxy，但 curiosity 不是脱离 task outcome 的独立目标；正文 reward 实际用 exploration factor 调制 task/format return。

Method

1. 对 KG tasks 从 query-related entities 构造 Wikipedia-derived descriptions、types 和 relations；对 DB tasks 提取 table names、schemas 与 API specifications，并用 entity recognition 或 table/function alignment 过滤相关知识。
2. 构建 containerized、session-based tool environments，统一 multi-turn function-call interfaces；rollout generation 与 policy optimization 分配到独立资源组，由 controller 异步协调，降低长环境交互造成的训练等待。
3. Agent 在 reasoning/action loop 中自主访问知识源，扩展可用 knowledge buffer；采用 GRPO 优化，结合 entropy 与 KL regularization，而不是始终静态注入整份知识。
4. Trajectory reward 汇总 final goal、intermediate subgoals 和 invalid-action penalties，截断后乘以取值 0–1 的 exploration factor；正文将该因子写作 knowledge novelty 的缩放函数。主要实验按 KG/DB 分别训练，并补充跨环境 joint-training 与知识/奖励 ablations。