Speech-Hands: A Self-Reflection Voice Agentic Approach to Speech Recognition and Audio Reasoning with Omni Perception

Idea

Speech-Hands 将音频理解中的信息来源选择显式化：omni model 先给出自身预测，再学习输出 internal、external 或 rewrite action token，决定信任自己的感知、采用专门模型结果，还是结合音频和候选重新生成。一个统一接口覆盖 ASR 与多选 audio QA。

Research Problem

把外部 ASR hypotheses 或音频推理结果直接混入 omni model 并不总能改善性能，错误候选可能覆盖原本正确的内部判断。零样本仲裁又对提示措辞敏感，易退化成固定偏向某一来源；问题因此是何时融合或拒绝外部证据，而不只是增加音频能力。

Insight

internal、external 和 rewrite 对应不同可靠性情形，将选择标签与最终任务输出联合监督，可以让模型学习证据到策略的映射。对正确内部预测优先分配 internal 避免无谓改写；多次外部采样则减少 audio QA 的离散标签因随机预测而抖动。

Method

1. 为每条音频生成内部预测和专用外部模型结果；ASR 另生成结合音频与外部转录的 GER candidate，计算三者相对 gold transcript 的 WER。
2. ASR 中内部正确或 WER 最低时标 internal，否则选择 external 或 rewrite 的最佳候选；audio QA 中内部正确优先 internal，内部错时根据外部五次采样的多数正确与否区分 external/rewrite。
3. 将 action token 与 gold transcript/answer 拼成同一 target string，在 Qwen2.5-Omni tokenizer 加三种特殊 token，以统一 cross-entropy SFT 同时学习仲裁与内容生成。
4. 推理先产生 action token，再按所选来源生成最终输出；在 OpenASR 多领域数据检验 WER，在 MD-Audio 检验答案准确度及动作选择 F1，外部模型与自身预测共同构成输入。