AREA3D: Active Reconstruction Agent with Unified Feed-Forward 3D Perception and Vision-Language Guidance

Idea

AREA3D 将 feed-forward geometry confidence 与 VLM 的语义不确定性线索合并到共享 3D voxel grid，再在有限 view budget 内选择 next-best views。它把视角规划所需的不确定性估计与 NeRF/3DGS 的在线重建优化分开，使稀疏观察下也能快速安排补拍。

Research Problem

Coverage、occupancy 和 overlap 等几何启发式不能直接识别哪些区域真正欠重建。NeRF variance 或优化中的 3DGS uncertainty 又依赖昂贵在线更新，并在少视角时不稳定；单独让 VLM 规划虽然有语义先验，却缺乏细粒度 metric geometry 和快速 pose scoring。

Insight

几何 confidence 擅长反映当前深度预测的不稳，语义先验则提示遮挡、薄结构、反射或无纹理区域为何值得观察。把两者放在同一可见性受约束的空间 utility 中，再降低已选视锥的优先级，可以让后续视角更多覆盖新的有效证据。

Method

1. 用 VGGT 单次前向得到 depth 和 per-pixel confidence，将其按 predictive precision 解释并规范化，依 camera intrinsics/pose 反投影到 voxel grid，聚合成 geometric uncertainty field。
2. 让 VLM 在固定 coarse image grids 上输出少量 uncertainty region、类别与 priority，涵盖 occlusion、geometry、lighting、boundary、texture。将区域转成带平滑边缘和膨胀的 masks，与 vision-feature variability 相乘调制后提升到 3D。
3. 融合 dual fields 并给未观察 voxels 全局 uncertainty prior。对候选 camera centers 和方向 bins 用 Monte Carlo first-hit ray sampling 预计算 FOV visibility masks，仅给可能可见的内容累计 utility。
4. 以 priority queue 贪心选择 center，再用缓存 masks 对候选方向评分。提交 view 后乘性衰减其 frustum 内 uncertainty，更新邻近候选与轻量 NMS，直至耗尽预算；所选观察用于最终 3D Gaussian Splatting reconstruction。