BridgeEQA: Virtual Embodied Agents for Real Bridge Inspections

Idea

BridgeEQA 用真实桥梁巡检报告构造需综合多视角证据的 embodied question answering，并要求答案给出 condition ratings 与 image citations。配套方法 EMVR 将图像集合组织成 navigable scene graph，让 VLM 按问题移动、比较和查看相关照片，避免一次把全部图像放入上下文。

Research Problem

常见 EQA 任务偏向小空间中的物体计数和相对位置，未充分覆盖真实巡检的长距离结构关系、全桥到局部损伤的多尺度判断以及专业评级。只测答案文字也无法区分是否找到支持结论的照片。大量无序 inspection images 同时输入会增加上下文负担，缺少有目标的证据探索。

Insight

报告中的专家评价和照片引用提供了可追溯监督，而 scene graph 能把 episodic image memory 变为可主动探索的证据空间。由于多组照片都可能支持同一结论，citation evaluation 应比较语义相关性而非仅要求精确匹配预设 image IDs。

Method

1. 从 VTrans PDF reports 做报告、页面和图像过滤，选择 200 座桥梁的 9586 张照片。Gemini parsers 提取 inspector notes、照片对应和 NBI ratings，经自动校验及人工审核生成 2200 个 QA pairs。
2. 使用 VLM 从图像建立 scene graph，每个 node 保存 image name、central focus 和 description，edges 表达总览/细节、结构支承、邻接、条件相似或部件从属关系，不依赖 GPS。
3. EMVR 初始只读取完整 graph structure 和语义描述，随后调用 MOVE 访问相邻 node、COMPARE 联合多图、REASON 检查单图细节，最后 RESPOND 输出回答、引用照片与评级。
4. 评价 NBI rating 的 exact match 和允许正负一档的 accuracy。Image Citation Relevance 由 VLM 联合 question、ground-truth answer、参考图和 agent citations 评分，参考图是有效例子而非唯一答案，并对极端过量引用设惩罚。