Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations

Idea

这篇工作审计 LLM-simulated users 是否能替代真实用户评价 tool-use agents：固定 agent，分别改变 user model，并让不同地区与语言背景的人完成相同 retail tasks，比较 success rate、simulation–human calibration 和交互失败模式。贡献是一套实证评估，而非新的 agent training algorithm。

Research Problem

许多 agent benchmark 把单个 LLM user 当作稳定环境，却没有验证其任务完成难度、对话行为和人口群体代表性。论文研究 user simulator 的选择是否改变结论，以及模拟中的好成绩能否预测真实用户交互下的表现，特别是不同 dialect 与年龄群体的差异。

Insight

User simulator 是影响 evaluation 的组成部分，而非中性接口；相同 agent 在不同 user models 下可出现不同成功率，模拟还可能在不同难度题上分别高估或低估真实表现。观察到的群体差异说明该协议的适用性问题，不能归结为某类真实用户的固有能力差异。

Method

1. 在 τ-Bench retail 域固定 GPT-4o 为 assistant，先用 5 次 GPT-4o user–agent runs 形成 6 档任务难度，再每档选 3 题，得到 18 题 difficulty-balanced human-study subset。
2. 从美国、印度、肯尼亚和尼日利亚招募英语使用者，每人随机完成 4 题，其中两题较难、两题较易；美国样本进一步按自报 dialect 与年龄分组，其他国家受招募条件限制主要为 18–34 岁。
3. 对 human 与 simulated conversations 使用相同的 benchmark state checks 和信息 substring checks；以各难度档 human completion 数作权重，计算 simulated 与 human success rate 的平均绝对差，即文中的 ECEHuman–LLM。
4. Robustness 分析在全 115 retail tasks 上替换多种 user LLM，validity/fairness 分析使用 18 题真人子集，并结合分组统计与 GEE 控制部分协变量；两种样本协议及 ECE 的定义必须分开理解。