SciEducator: Scientific Video Understanding and Educating via Deming-Cycle Multi-Agent System

Idea

SciEducator 用 Plan–Do–Study–Act 循环理解科学视频：规划候选解释与工具链、选择并执行方案、分析证据不足的原因，再修改检索与观察策略。完成科学解释后，同一循环还可组织实验步骤、器材、插图和语音，生成教育 e-booklet。

Research Problem

科学视频常只能展示现象，解释需要外部专业知识及严谨因果推理。普通 video agents 可能没有可执行初始计划，遇到模糊视频、错误检索或缺失知识时缺少结构化诊断，单轮最终回答难积累新证据以改善流程。

Insight

低置信结果应该触发对失败来源的区分，而不只是再生成一次答案。将工具成本经验、候选解释评价与证据补充放入循环，可针对问题调整 caption 密度、视频细节或 query specificity；教育内容也可沿同一已理解的科学过程组织。

Method

1. 视频按 1 FPS caption，RAG agent 提取实体和关键词并从内部语料首次检索知识，planner 结合时序描述、知识及 few-shot exemplars 生成多种候选计划和 agent calls。
2. Do 阶段综合工具调用探测得到的 latency、token usage、success prior，以及关键词 IDF 和 LLM 对科学性、覆盖、逻辑、清晰度的评价，选择并执行方案，再估计证据是否充分。
3. 低置信时 Study 诊断工具失败、过宽检索或 caption 缺失，将新证据并入知识库；Act 调整下一方案池，例如增强模糊帧、提高取帧频率或收窄实体查询，循环至阈值或轮数上限。
4. E-booklet 阶段检索实验 procedure 与 precautions，再生成器材信息、步骤插图和语音，由 booklet agent 编排。SciVBench 由科学专家依据视频和文献构建 500 QA，输入去除字幕与音频，评价科学视频理解及生成内容。