RIMRULE: Improving Tool-Using Language Agents via MDL-Guided Rule Learning

Idea

RIMRULE 从工具代理的失败经验提炼短规则，使用 Minimum Description Length 整合为精简规则库，推理时按当前任务和工具动态注入。规则同时保留自然语言和符号形式，使其既便于模型理解，又便于压缩、筛选和跨模型复用，无需修改基础模型权重。

Research Problem

领域工具可能文档不全或接口特殊，单靠重复尝试不易纠正系统性错误。检索原始 demonstrations 难以抽象经验，统一 prompt 对不同场景不够灵活，而 finetuning 成本高且难直接分享学到的知识。直接让 LLM 合并规则又缺少基于真实纠错效果的筛选标准。

Insight

失败与正确 trace 的差异可揭示根因，而非仅记住具体答案。将解释抽象为 if–then rule，再用规则复杂度与修复失败的经验表现联合控制，可以减少重复和过度特定规则；符号 schema 则消除自然语言措辞对检索和长度计算的干扰。

Method

1. 运行 zero-shot agent 收集错误或提前终止的 traces，与 ground-truth trace 对比，经 Explanation-Based Learning 提炼 decomposition、tool selection 或 argument construction 规则，并检查原题纠错收益、if–then 格式和长度。
2. 诱导有限词表，将规则映射为 Domain、Qualifier、Action、Strength、ToolCategory 五字段，保留对应自然语言表达作为最终注入内容。
3. 从全部候选规则出发，以符号长度 model cost 与失败纠正结果的 data cost 构成 MDL objective，贪心评估 prune 或工具级到类别级 generalize，仅接受使目标下降的编辑直到收敛。
4. 推理时将查询和工具状态转为共享符号字段，先按适用工具范围过滤，再对符号字段语义相似度排序，取 top-k 自然语言规则加入 ReAct prompt；在已见/未见工具及跨模型规则迁移中评估。