LensWalk: Agentic Video Understanding by Planning How You See in Videos

Idea

LensWalk 把视频理解中的 observation 本身变为 Agent 决策。Reasoner 每轮根据问题和已有证据决定看哪个时间段、采多密、是否将不连续片段一起看，再由 Observer VLM 返回视觉事实，形成 reason–plan–observe 循环。

Research Problem

现有长视频 Agent 往往查询预先生成的 captions、embeddings 或固定切片。虽然检索 query 可变，预处理时确定的 temporal coverage 和 sampling density 已无法跟随推理调整，关键短事件及跨片段身份歧义因此难以补查。

Insight

推理中的新假设应改变下一次视觉输入，而非只改变对静态输入的思考长度。粗搜索定位、局部高密度观察和跨片段联合验证具有不同用途，配合时间与实体记忆，可以让矛盾触发重新观察，而不是在语言摘要中反复调和。

Method

1. Reasoner 读取 query、video metadata、工具历史与当前 Subject Memory Table，输出 tool、子问题、时间范围、frame count/FPS 及专用参数。执行结果按时间范围加入历史，作为下一轮规划依据。
2. Scan Search 对指定范围切片并稀疏采样，各片独立调用 Observer，返回目标事件位置或相关性描述，适合广泛定位且可并行。Segment Focus 对连续局部区间密集采样，读取细节或重新检查同一事件。
3. Stitched Verify 把多个不连续片段的帧合为一次 Observer 输入，各片段可用不同采样率，以共同视觉上下文完成前后对比、身份辨别和因果链检查。
4. 在帧序列中插入 Timestamp Anchors 让回答带时间依据，每轮由 LLM 更新实体属性及出现区间的 Subject Memory Table，并替换旧表而非无限追加。无需训练，实验限制最多 20 次工具调用并设置各类工具帧预算。