Mixture-of-Minds: Multi-Agent Reinforcement Learning for Table Understanding

Idea

Mixture-of-Minds 将 table reasoning 分为 Planning、Coding、Answering 三种 agent roles，通过真实 code execution 得到可核对的 intermediate tables，再进行答案生成。训练使用分支 rollouts 找到成功路径，为缺少人工标注的 plans 和 code 构造 pseudo-gold supervision，逐角色执行 GRPO。

Research Problem

纯语言 table reasoning 容易算错和 hallucinate，直接 tool-based processing 又缺乏语义规划；分成多个 agents 后，现有数据通常只有 final answer，没有中间 plan/code labels。论文研究如何同时获得精确计算、语义判断与可训练的中间监督。

Insight

最终正确答案可以用来反向选择有用的 plan/code candidates，再分别改进各阶段。但成功路径中的中间内容仍只是 pseudo-gold，不能保证每一步都唯一正确；paper 所称 MCTS-style 主要体现分层 branching 与成功回溯，不应自动补充未描述的 UCT search 算法。

Method

1. Planning agent 生成带 tags 的 plan；Coding agent 据 question、table、plan 生成 Python 并执行，得到一组 intermediate table representations；Answering agent 结合 question、plan 与这些执行结果回答。
2. 按 plan→code→answer 层次分别采样 α、β、γ 个 candidates，执行代码并对照 final ground truth；只要某条下游 answer 正确，就把对应 plan/code 选作 pseudo-gold 中间监督。
3. 先训练 Planning，reward 为 format 与 pseudo-gold plan BLEU；再用已训练 planner 生成 Coding 训练数据，reward 结合 code format、execution success、Pandas-operation F1 与 output BLEU。
4. 最后在已改进的 plan/code 条件下训练 Answering，采用 format 与 exact-match reward；各阶段使用 GRPO，按先 plan、再 code、后 answer 的顺序更新，评价 TableBench 与 FinQA 的 table reasoning。