VibeVoice-ASR-Streaming-1.5B：流式说话人转写机制与限制

VibeVoice-ASR-Streaming-1.5B：VibeVoice-ASR-Streaming-1.5B 把固定长度音频块、少量前瞻音频和历史文本交错处理，在单一模型中生成“谁说了什么”。Microsoft Research 的技术报告还写明热词上下文、10 种语言、长时重叠、8 分钟录音与首包延迟边界；本文未实测这些结果。

它怎样一边接收音频一边标注说话人

离线转写通常先读完整段录音，流式转写则要在音频持续到达时给出结果。技术报告描述的做法是把音频块、少量前瞻音频和已有文本交错放入同一序列，直接生成带说话人标签的文字，不再把说话人分离作为另一个处理阶段。

1.5B 是模型规模，不是延迟承诺。报告中的 2.00 秒是稳态说话人归属延迟预期；22 帧配置第一次输出需要一个完整音频块加前瞻，达到 3.5 秒。产品验收应分别记录首包时间、持续输出速度、文字错误和说话人归属错误。

技术报告披露的机制与明确边界

• VibeVoice-ASR-Streaming-1.5B 交错处理固定长度音频块、少量前瞻音频和既有文本，在不另设说话人分离阶段的情况下输出“谁说了什么”。
• 每个音频块会生成带说话人标签的话语，逐块拼接即可得到带说话人归属的转写；说话人标签按首次出现顺序分配并在后续识别中复用。
• 姓名、技术术语、缩写和其他热词可以在解码前作为可选上下文加入，并在整个流式会话中保持可用。
• 论文作者公开了模型权重、支持 vLLM 的高性能推理代码和在线演示。
• VibeVoice-ASR-Streaming 当前只在 10 种语言上训练和评测，更广的语言覆盖仍是后续工作。
• 多名说话人长时间重叠时，VibeVoice-ASR-Streaming 的性能会下降，因为解码器必须把重叠语音串行化为单一路输出。
• 已发布检查点支持最长 8 分钟录音；更长录音需要更多上下文和计算量。
• 报告中的 2.00 秒是稳态延迟预期；第一次输出在 22 帧配置下需要 3.5 秒，在 15 帧配置下需要 2.5 秒。

流式转写与说话人归属如何配合

适合会议、访谈和客服，但验收指标不同

会议记录关心多人切换和姓名术语，访谈关心长时间稳定性，客服质检则同时关心实时延迟与关键话术。相同模型在这三类任务上的合格标准并不一样，不能用一段清晰单人录音代表全部效果。

“谁说了什么”能减少会后整理工作，但说话人归属错误的影响可能比单字错误更大：一句承诺如果归错人，纪要含义就会改变。因此测试应分别计算文字错误与说话人错误，并保留原始音频供人工回查。

语言、重叠说话、录音长度和首包延迟

接入前应做哪些对照测试

建立安静单人、多人轮流、多人长时重叠、远场噪声和含热词五组音频。每组记录首包延迟、持续输出延迟、文字错误与说话人归属错误；热词开启和关闭各跑一次，检查改善与副作用。

再用接近 8 分钟的会话验证计算量与稳定性，并演练断流和重连。超过 8 分钟的录音不应直接沿用报告结论；只有模型指标与系统故障路径都达到要求，才适合进入生产。

本文未实测。本文只整理并解释来源已经披露的内容，不把发布方的说明改写成本站测试结论。

原始来源：VibeVoice-ASR-Streaming Technical Report（Microsoft Research，2026-09-02）