Graph-to-Frame RAG: Visual-Space Knowledge Fusion for Training-Free and Auditable Video Reasoning

Idea

G2F-RAG 把检索增强的接口从追加文本改为追加一张 reasoning frame。先构建与问题无关的 video knowledge graph，再按问题提取小子图并渲染，冻结的 LMM 同时读取原视频与这张结构图，外部知识的表达形式本身成为方法核心。

Research Problem

Video-RAG 常把字幕、描述、知识文本或多个片段加入 context，默认相关内容越多越好。论文在同一 Qwen2.5-VL 上观察到文本 context 分散对关键帧的 attention，甚至短视频也退化。需要解决的不只是检索相关性，还有异构知识进入视频模型时的表示竞争和上下文负担。

Insight

事件因果与场景 affordance 可以压缩为可检查的关系结构，再经视觉通道交给 video backbone。该设计结合知识选择、复杂度控制与视觉表达，同时让简单问题绕过增强分支。Attention 可视化和同底模结果支持作者的解释，但 cognitive load 是其机制解释，并非独立测量的认知变量。

Method

1. 离线 graph-construction agent 提取 event–causal view，包括动作、参与者、前提和结果，以及 scene–affordance view，包括物体功能、位置连接和概念知识，再用 cross-links 连接并缓存完整图。
2. 在线 orchestration agent 根据证据局部性、跨场景依赖和外部知识需求估计增强收益，以阈值路由 easy/hard；easy 直接答，低置信或超预算时回退或收紧约束重试。
3. Retrieval agent 将问题转换为图查询，按相关性减复杂度选择 minimal sufficient subgraph，并显式限制 node/edge 数，避免把整图转为密集图像。
4. Graphviz renderer 用简单几何形状、短标签和因果流生成一帧，追加在视频末尾。该帧不编码时间戳，推理指令要求以原视频为权威证据；全过程无需更新 backbone 参数。