Behavior Knowledge Merge in Reinforced Agentic Models

Idea

Reinforced Agent Merging（RAM）按 RL task vectors 的重叠分布合并不同领域 agents：多个任务共同更新的参数取平均，仅一个任务更新的参数保留原强度；RAM+ 再依据 overlap/unique ratio 放大 unique updates，以减少合并后的能力稀释。

Research Problem

从同一 base model 训练出的 coding、tool-use、memory agents，其 RL updates 可能高度稀疏且分布不同。统一全局平均会把某个任务独有的非零更新与其他任务的零值平均，使关键行为信号缩小。论文研究如何在不重新联合训练的情况下保存这些 specialized behaviors。

Insight

共享参数上的 averaging 可以平衡任务，独有参数上的 averaging 却可能只有 dilution 而无冲突缓解收益。作者用参数重叠统计近似功能贡献，并以 unique-region rescaling 补偿 shared-region 收缩；这种 functional equivalence 依赖简化假设，不是不同任务能力可线性相加的保证。

Method

1. 计算各 RL agent 相对于共同 base 的 task vector，以绝对值阈值构建 active-update mask；逐参数统计有多少任务激活，区分 unchanged、unique 和 shared regions。
2. 为每个任务计算 shared active parameter count 与 unique count 的比值 ρ；RAM+ 使用 λ=1+r·clip(ρ,0,α) 产生有上限的 task-specific scaling，避免高 overlap 情况下无限放大。
3. 逐参数合并：无 active task 时置零，unique update 按 λ 保留或放大，shared update 只在 active tasks 中平均，再加回共同 base parameters；RAM 对应 r=0 的无额外放大版本。
4. 以 CURE、ToolRL、MemAgent 等共同 backbone 的 checkpoints 进行 coding、BFCL tool-use 与 long-context memory 测试，并做 unique-vector dilution 与 scaling ablations；方法需要可访问且参数对齐的模型，不能直接合并异构黑盒 APIs。