IBISAgent: Reinforcing Pixel-Level Visual Reasoning in MLLMs for Universal Biomedical Object Referring and Segmentation

Idea

IBISAgent 将 biomedical segmentation 从一次性生成隐式 segmentation token，改成 MLLM 连续输出文字推理与 positive / negative clicks 的交互过程。它保持语言输出接口，通过外部 MedSAM2 等分割工具获得 mask，并再次观察叠加图，兼顾目标指认、reasoning segmentation 和已有 mask 的补全。

Research Problem

已有 medical MLLM 常需与 pixel decoder 联合微调，可能影响原有语义泛化。即使将 point prompt 交给 SAM，单轮 grounding 仍无法纠正复杂组织边界上的错误。已有标注又主要提供最终 mask，缺少可直接训练多轮决策的点击轨迹。

Insight

当前预测与目标 mask 的 FP / FN 区域可把静态像素标注转成动作监督，而每次点击后的 mask 又是可观察的环境反馈。训练目标同时约束点击位置、实际分割进步与交互长度，才可能学到持续修正和及时停止，而非只模仿初始定位。

Method

1. 从 BiomedParseData 的 image–mask–label tuples 出发，按当前 mask 与 GT 的错误区域模拟点击，在较大的错误区域中心放置修正点，并剔除过长或最终 Dice 不足的轨迹。
2. 用 Gemini 生成目标相关 QA，用 GPT-5 根据正确动作与 TP / FP / FN 信息补充 reasoning；另合成撤回错误点击、纠正用户初始 mask 与文字目标不一致的反思轨迹。
3. 以 456K trajectories 做 cold-start SFT，计算 reasoning / action token 的交叉熵，屏蔽工具 observation 和刻意注入的错误动作。推理时动作包含 target、点击正负属性与归一化坐标，工具综合图像、历史点击和旧 mask 返回新叠加图。
4. 用分割 QA 与普通 biomedical VQA 混合数据进行无 KL penalty 的 GRPO；reward 平均组合 format、最终答案或 IoU、点击落点、逐步 IoU 改善及长度约束，使模型自主探索何时调用工具和结束。