Beyond Itinerary Planning—A Real-World Benchmark for Multi-Turn and Tool-Using Travel Tasks

Idea

TravelBench把旅行agent评测扩展到真实用户的地点发现、导航、方案比较等需求，并同时设置single-turn、需要主动澄清隐含偏好的multi-turn及unsolvable任务。其核心是将真实日志、只向user simulator提供的偏好profile，以及基于真实API返回构建的离线sandbox结合，测试交互与工具使用的完整过程。

Research Problem

已有travel benchmarks常以行程设计为中心，预先写明偏好或按固定顺序揭示约束，不能充分测试assistant是否会主动问出用户未说的需求。直接调用在线服务又难以重复比较；只用最终行程约束评分，也覆盖不了丰富查询、对话质量和工具能力不足时应当停止的情况。

Insight

隐含偏好必须保持在用户一侧，澄清行为才有实际信息价值；任务是否需要多轮也可通过多个agent实际是否追问来经验划分。将工具输出缓存并为缓存缺口提供受近邻约束的模拟，可以在真实信息基础上稳定运行评测，但模拟输出仍不是每次都经过真实API执行。

Method

1. 从Amap四个月日志整理约5000项去重query，以Qwen-Plus去除个人识别信息、保留抽象偏好并补充合成属性；用K-Center-Greedy扩大语义覆盖，profile只供user simulator使用。
2. 以三模型一致判断筛选不可完成任务；对可完成query运行两个assistant各三次，根据是否追问划分single-turn与multi-turn，再分别选500项。对偏好脱敏做全量人工检查，并抽样验证标签。
3. 整合10个真实工具，通过多模型实调用建立约20万条call-response缓存；精确匹配失败时用Qwen3-Embedding-8B与Faiss取top-8示例，交给LLM做ICL response simulation，同时严格检查参数、类型和范围。
4. 不可完成子集检查首答是否含[Unsolved]；可完成任务按规划、信息整合、呈现及多轮额外的用户交互维度打分，归一化后乘以meta-judge修正和有效工具调用比例，最后汇总三个子集得分。