Analyzing and Internalizing Complex Policy Documents for LLM Agents

Idea

该工作用 CC-Gen 控制工具 Agent 的 policy complexity，并提出 Category-Aware Policy Continued Pretraining（CAP-CPT），按 factual、behavioral、simple conditional、complex conditional 四类规则生成专门数据，使模型以短 policy identifier 调用内化规则，减少长政策 prompt。

Research Problem

长业务政策增加每轮 token，普通 prompt 压缩却没有区分记忆事实与执行嵌套流程的难度。仅用 gold CoT 交互轨迹 SFT 数据需求高，复杂 workflow 下仍失效；需要先定位规则类型，再为最难规则提供覆盖充分的推理实例。

Insight

作者观察 workflow branching 比单纯数据库规模更显著影响执行，因此内化不能只复述政策。事实适合 paraphrase/QA，行为需要示范，条件规则需要具体环境实例下的模拟；CPT 还对整段文本建模，使政策条件和推导过程一起进入训练。

Method

1. CC-Gen 在 text-only、single-user-turn 的受控数据库工具环境生成 policy、初始化数据库、可执行工具和 query/gold trajectory；分别参数化 task、workflow、environment、query complexity，主要比较任务数/参数数与 if–else 深度组合。
2. 为每份政策分配 pid，SFT baseline 把完整政策替换为该标识，仅监督 gold reasoning/action token；部署时假设 routing 或 RAG 已选定正确 pid，模型据此调用所学规则。
3. CAP-CPT 由 LLM 抽取 task 类型、specification 和 valid scope，分成四类，必要时人工复核；对所有类型产生政策改写和 QA，对行为规则生成合规示范，对条件规则从数据库抽样场景并推导答案。
4. 把场景模拟、规则数据与辅助交互轨迹组织为训练文本，使用全序列 autoregressive CPT loss，再结合 SFT 完成工具任务适配；区别于只计算 answer/动作 loss 的轨迹模仿。
5. 在不同 workflow/task complexity 与 1k–30k SFT 数据量下测试 Qwen-2.5/3-32B，另迁移到 τ-Bench；同时评估任务 SR、policy-referral QA、policy override/substitution 和一般 instruction following，检查压缩后的能力保持。