OralGPT-Plus: Learning to Use Visual Tools via Reinforcement Learning for Panoramic X-ray Analysis

Idea

OralGPT-Plus 将 panoramic X-ray 理解组织成观察、局部复查与左右对照的过程。模型除 Zoom-In 外还能调用 Mirror-In 获取对侧区域，用临床导向的轨迹 SFT 和 Reinspection-Driven RL 学习何时重看，以及如何把重看结果纳入最终诊断文本。

Research Problem

传统 detector 只给异常位置和类别，single-pass VLM 虽能描述影像，却无法回访细微阴影。普通 crop 没有利用口腔双侧对称性，而多病灶诊断若只奖励答案全对，部分发现也得到零分，导致信号稀疏并鼓励无目的探索。

Insight

对侧牙齿和组织可成为同一影像中的结构参照，使模糊局部异常得到额外验证。奖励应先识别诊断是否具有可信基础，再鼓励补充检查，因此作者用 rubric 质量门控 exploration bonus，避免把增加工具次数本身等同于诊断改善。

Method

1. 整合公开区域标注与 MMOral-OPG 构建约 5K 图像的 DentalProbe，用 tooth-number detector 对齐牙位与病灶，将表现区分为明显、细微及骨相关发现，并以聚类生成重点检查区域。
2. 规则生成全局观察到局部检查的轨迹，tool decision module 判断使用 Zoom-In 还是 Mirror-In；后者按中线取对侧 crop，两侧均用 1.5× padding 容忍错位。视觉摘要和临床定义用于改写 reasoning，经多模型改写和牙医抽样评价完善。
3. 冻结 vision encoder 与 projector，对 language module 全参数 SFT，学习 thought–action–observation 及 Finalize 协议。每轮把工具图像追加历史，达到停止动作或步数上限后输出报告。
4. GRPO 使用连续 rubric reward，评价临床含义、影像准确性、严重错误与遗漏；只有 rubric 超阈值才启用随探索饱和度下降的工具 bonus，再与 format reward 相加。MMOral-X 用开放问题和区域标注检验整体诊断。