VoxMind: An End-to-End Agentic Spoken Dialogue System

Idea

VoxMind 在 end-to-end spoken dialogue model 中加入 Think-before-Speak，并以辅助 LLM 并行检索工具，使语音 agent 先规划、再回答或调用局部工具集。它用 AgentChat 统一训练对话与工具交互，重点解决语音系统从反应式聊天走向多步任务执行时的能力和工具扩展成本。

Research Problem

已有语音模型主要优化 perception 与 speech generation，直接加入 function calling 仍难覆盖任务分解、参数补全、结果反馈和工具不足时的搜索。把大型工具库全部放入语音主模型 context 会增加推理负担；同时缺少与自然语音相适应的、多轮 agent training data。

Insight

显式 reasoning trajectory 同时为动作决策和工具检索提供 intent representation。让辅助模型在主模型决定下一动作时寻找候选工具，可以重叠两项工作；只有主模型判断本地工具不足并发出 retrieval action 时才扩展 action space，使工具搜索与语音生成保持相对分工。

Method

1. 以 observation、interaction history、local action space 表示状态；语音主模型先生成 intent understanding、context analysis 与 planning 的 CoT，再根据同一状态和局部工具集选择 spoken response 或 tool invocation。
2. CoT 完成后并行运行主模型 action policy 与辅助 LLM 的 global tool retrieval。若主模型发出 retrieve action，则把候选集合并入下一步 local tools；否则保持原集合，并据更新后的状态继续决策。
3. 构建约 470 小时 AgentChat：对 ToolACE、APIGen-MT 与自建工具对话做规则和模型清洗，加入 SciQ、GSM8K、ARC 及常识对话，以 CosyVoice2 和 600 多种 timbres 合成音频。
4. 给定任务输入和正确输出反向生成 reasoning chains，模型评分达到阈值才保留，最多重生三次并精炼格式，用于微调 StepAudio2。保留独立测试子集并构建扩展工具规模的 OOD 数据，按 tool selection、parameter filling、tool insufficiency detection、feedback completeness 等评估六类 agent 能力。