ShopSimulator: Evaluating and Exploring RL-Driven LLM Agent for Shopping Assistants

Idea

ShopSimulator在中文商品环境中同时引入多轮需求澄清、长期个性化profile和高度相似商品辨别，并提供可用于RL的reward。它让shopping agent既要问清当前需求，又要正确使用已有偏好，再通过搜索、浏览和选项选择完成购买式任务，形成训练与评测共用的交互环境。

Research Problem

已有shopping环境通常给出固定且完整目标，难以测试agent何时需要提问、如何区分即时约束和长期偏好；随机商品池又可能使目标过于容易识别。仅有评测数据而缺少训练接口，也无法研究agent如何从失败中学习细粒度属性、选项和价格约束。

Insight

真实购物成功由多个条件共同决定，某一关键尺寸或价格不满足就不能以其他匹配项补偿。相似商品池提升选择难度，profile中保留一部分需求则防止模型只读当前指令；比较additive与multiplicative reward，可检验部分满足的奖励是否会掩盖瓶颈约束。

Method

1. 从Taobao商品快照按曝光及类目质量筛选，在细分类中保留约120个相近商品，建立Catalog-Fine及约130万商品的Catalog-Full；由人工根据metadata写自然指令，并核查目标商品的唯一对应关系。
2. 从商品—任务对生成并人工修订结构化profile，把长期偏好移出当前instruction；LLM shopper从模糊需求开始，只有在agent追问时逐步揭示必要属性，形成单轮、多轮及各自个性化版本。
3. 环境提供search、浏览、click和购买等文本操作；loose reward在category匹配下平均属性、选项及价格满足度，strict reward将这些项相乘，另以全部要求都满足的binary success评估完整完成。
4. 实验因资源和延迟使用Catalog-Fine；训练比较直接GRPO与先用GPT-4.1成功轨迹做SFT后再GRPO，并分别尝试loose、strict reward。错误分析分解搜索、选择、购买确认、个性化和simulated shopper问题。