CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty

Idea

CAR-bench 在车载助手模拟环境中评估多轮 tool-using agent 的持续可靠性，将任务扩展为正常执行、无法完成时承认能力边界，以及存在歧义时先获取信息。其研究设计把重复成功与偶然成功分开，使 benchmark 能暴露“会做但不稳定”及过早采取动作的问题。

Research Problem

多数工具评测默认工具齐备、用户信息完整，只考察最终答案或 API 调用正确性。真实助手还会遇到缺工具、缺参数、返回信息不足和模糊需求；完成不了却编造结果，或未澄清便改变状态，都是最终任务完成率难以充分刻画的失败。

Insight

可靠代理必须判断任务是否可解，并根据环境信息选择内部查询或用户澄清。评价既要约束最终状态，也要检查中间状态与领域政策，因为错误动作即使后来撤销也可能打断驾驶。多次重复评测则区分潜在能力和稳定执行。

Method

1. 构建包含 58 个互联工具、动态车辆状态、固定上下文及导航/日历/天气数据库的环境；LLM user simulator 按 persona、信息披露规则与目标交互，隐藏 control words 用于终止和评价。
2. 设计 100 个 Base tasks，并删除必需工具、参数或结果形成 90 个 Hallucination tasks；另构造 50 个 Disambiguation tasks，要求通过用户或环境信息解决受控歧义，优先内部消歧。
3. 从 API graph 采样多步骤轨迹、生成初始环境和自然指令，再人工审核可行性与唯一目标状态；19 项领域政策分别由程序检查或 LLM judge 验证。
4. 联合检查最终/中间状态、必要查询工具、调用错误、政策及对话终止原因；Hallucination 以正确承认限制为目标。每题重复 k 次，报告全部成功的 Pass^k 与至少一次成功的 Pass@k，分析两者差距。