REALM: An MLLM-Agent Framework for Open World 3D Reasoning Segmentation and Editing on Gaussian Splatting

Idea

REALM 在 3D Gaussian Splatting 上执行开放世界 reasoning segmentation，并将得到的 3D object mask 用于删除、替换和风格修改。其核心是 Global-to-Local Spatial Grounding：先通过多视点语言推理识别对象身份，再针对该对象生成局部视图细化 mask，无需为 MLLM 大规模做 3D-specific post-training。

Research Problem

CLIP 查询或基础 open-vocabulary segmentation 能匹配类别名称，却难理解隐含用途、关系和上下文需求。MLLM 虽能对 2D 图像推理，直接输入少数渲染视图会对 viewpoint 极其敏感，并且其 2D 输出不能自动保持跨视角的 3D identity 一致性。

Insight

应将语义判断和三维一致性分别交给擅长的表示。MLLM 在渲染图上推理，稳定的 instance feature field 将这些判断绑定到同一批 Gaussians。全局视图投票降低单视角歧义，局部多视图优化则纠正粗分割边界，兼顾场景关系与目标细节。

Method

1. 先以 SAM 生成各视图 instance masks，通过 temporal propagation 关联跨视图身份。为 Gaussians 学习 instance features，将渲染 feature map 经 classifier 转成 2D ID map，以一致 instance labels 监督其优化。
2. LMSeg Agent 根据图像和隐式语言查询输出 bounding box、category、explanation。box 交给 SAM 得到 binary mask，再与 2D ID map 相交确定目标 instance ID。
3. 将训练 camera poses 做 K-means，选取覆盖 instance 数最多的代表视图作为 global cameras。分别运行 LMSeg 后用投票决定目标 ID，并由 classifier 提取该对象的 coarse 3D mask。
4. 选取可见目标的 local cameras 获取更细的 2D masks，用 differentiable rasterizer 渲染 coarse mask，并以 L1 alignment 优化局部 3D mask。论文在 LERF、3D-OVS 和新建 REALM3D 上评价显式与隐式指令，并展示基于对象定位的编辑。