TEA-Bench: A Systematic Benchmarking of Tool-enhanced Emotional Support Dialogue Agent

Idea

TEA-Bench 把 emotional support conversation 的评价从共情表达扩展到 tool-grounded instrumental support，要求现实性建议中的时间、地点、天气等事实可追溯。它提供场景化工具环境、模拟用户与逐轮事实检查，同时衡量情感支持质量和 factual grounding。

Research Problem

传统 ESC benchmark 主要看文本是否温暖、流畅，无法区分有事实依据的实际帮助与听起来体贴但捏造情境的建议。一般 tool-use benchmark 又以明确任务完成为终点，不适合没有固定 terminal goal、需要顺应用户情绪和接受程度的支持性对话。

Insight

工具的价值在此不是完成一张预设调用清单，而是帮助 agent 判断何时需要外部信息，并将信息转成合适的建议。必须把用户可见对话质量与 agent 内部证据来源分别评估，否则少说事实的模型可能显得低幻觉，频繁调用工具的模型也未必更有帮助。

Method

1. 从 ExTES 筛选情境丰富的案例，生成潜在时间、城市和场所属性，再以地图 API 对齐具体地点、坐标及时区并人工审查，得到 81 个 TEA-Scenarios。agent 只能通过工具或用户信息获得相关 context。
2. 提供七类共 31 个 MCP-style tools，覆盖社区经验、地图、天气、新闻、知识与音乐等；time-sensitive tools 按场景时间返回信息，Utils 则读取预设 latent context，模拟设备级信息获取，工具使用由 agent 自主决定。
3. 以场景条件化 LLM 模拟 action-oriented 与 emotion-oriented 两类用户，最多交互 15 轮。agent 看到工具历史，用户只看到自然语言；Hallucination Detection Module 对照用户信息和工具观察检查新事实的 provenance，并让模拟用户对不可靠内容表达疑问。
4. 用 LLM evaluator 按 Diversity、Fluency、Humanoid、Information、Effectiveness 五维评分，并分别报告 factual-content ratio、hallucination ratio、hallucination rate。九个模型的 with/without-tool 比较显示收益依赖模型能力，同时补充人工评价检查自动指标。