VS-Bench: Evaluating VLMs for Strategic Abilities in Multi-Agent Environments

Idea

VS-Bench 用十种具有图像与文字观察的 multi-agent games 分别测试 VLM 的 perception、strategic reasoning 和 decision-making。它把会认画面、会预测他人动作以及真正获得长期回报拆开评价，以定位多模态策略能力的瓶颈。

Research Problem

已有交互基准多是单 Agent 或 text-only，难覆盖视觉感知与合作/竞争策略同时存在的环境。最终任务分数又会混合感知错误、对他人意图的误判和长期规划缺陷，无法判断模型高质量描述是否转化为有效战略行为。

Insight

多 Agent 的结果由 joint actions 决定，识别环境元素只是必要条件，策略还需推断他人动作并在部分可观测和利益冲突下行动。将三个能力维度置于共同环境并设置 random/oracle anchors，可以显示视觉理解强但策略表现低的分离现象。

Method

1. 将环境统一为 Partially Observable Markov Games，每个角色接收 image/text observation，输出文本 action 后由 mapping 转成原游戏动作。涵盖 Hanabi、Overcooked、KAZ 等合作游戏，Breakthrough、Kuhn Poker、Pong、MPE 等竞争游戏及三种 mixed-motive games。
2. Perception 每环境采集 400 个真实 gameplay states 与 ground-truth labels，问物体位置、方向、数值或 game status，以 element-recognition accuracy 评估基础视觉理解。
3. Strategic reasoning 每环境构建 400 个可预测、平衡而多样的样本，要求预测其他 agents 的 next actions，用 prediction accuracy 衡量 perspective-taking，而不是让模型仅口头解释策略。
4. Decision-making 通过 self-play 或与 conventional agents 交互统计 episode returns，以 random=0、oracle=100 归一化。比较十五种 VLM，进一步替换为 text-only observations、分析 test-time scaling、social behaviors 和 human performance，分辨模态与交互带来的困难。