MARS-RA: Rank Aggregation for Credit Assignment via Multimodal Comparisons in Embodied Multi-Agent Cooperation

Idea

MARS-RA 将多 Agent credit assignment 转为相对比较和 rank aggregation：LMM 看活跃 Agent 的第一视角图像，判断谁贡献更大；Bradley–Terry 将比较汇总成连续分数，再以 potential-based reward shaping 注入合作 RL。

Research Problem

稀疏团队奖励难分辨个体贡献，而具身任务的部分观测、长时延及成员临时退出让固定团队的 value decomposition 更困难。要求 LMM 直接给绝对贡献分数也缺稳定尺度，难跨不同团队人数比较。

Insight

两两判断比绝对评分更局部，可适应活跃人数变化；聚合能在潜在排序模型成立时降低比较噪声，potential difference 把静态分数转为训练反馈。理论恢复的是 LMM 的 latent preference，只有额外假设其等于真实 Shapley contribution 才有该解释，不能把排序视作客观因果贡献。

Method

1. 以 Open Dec-POMDP 表示动态 operating coalition。每步仅对活跃 Agent 形成有序 pair，以任务规则、身份映射和各自 egocentric image 提示 LMM，输出 win/lose/tie；交换顺序做双向比较减轻位置偏差，tie 各记 0.5。
2. 在比较矩阵上拟合 Bradley–Terry latent score，以 exp(ci)/(exp(ci)+exp(cj)) 模型最小化负 log-likelihood；非活跃成员不参与比较，少于两个活跃成员时跳过查询。
3. 对分数做 softmax 得非终态 potential，终态设零；使用 γψ(next)−ψ(current) 的 shaping term，加权加入环境 reward，为底层 MARL 提供密集个体反馈。
4. 理论分析在比较图连通及 Bradley–Terry 偏好假设下给出聚合误差随比较数量衰减；Shapley consistency 仅作为理想 comparator 下的解释性命题。
5. 在 ManiSkill3/XLeRobot 构建 MARS-Bench，含 2–4 Agent 的 Pass Gate、Herd Sheep、Collect Ball；动作耗电使 Agent 随机退出后充电返回，训练使用稀疏奖励，以完成率及碰撞/超时失败检验动态团队合作。