网易有道开源真流式语音识别:已输出文本不再改写,延迟低至200毫秒

流云 2026-09-28 2394 0条评论
摘要: ...

在AI工具导航的语音识别分类中,流式方案长期面临一个尴尬:出字快,但前文识别结果还在变。下游的语言模型和业务系统很难在句子尚未说完时介入处理。2026年9月16日,网易有道发布Confucius4-R2T2,一款真流式语音识别模型,以开源方式提供权重,试图解决这一矛盾。

核心机制:append-only与最长稳定前缀

模型采用真流式输出,遵循append-only原则:已经提交的文本永久保留,不因后续音频而改写。支撑这一点的是Longest Stable Prefix机制,模型在解码过程中判断哪一段语音内容已经足够稳定、可以安全提交,哪一段还需要更多音频上下文。只暴露稳定前缀,既保证已输出内容不再变化,也让后续预测建立在可靠上下文之上。对关注AI办公软件推荐的团队而言,这意味着实时字幕可以直接上屏,不需要在末尾做整段替换;语音智能体可以在用户尚未说完时就开始理解上下文。

解码块可配置,延迟200至600毫秒

流式接口的解码块可在80毫秒至2秒之间配置,用来在延迟与准确率之间取舍:块越小,出字越快,留给模型的上下文也越少;块越大,准确率更稳,延迟相应上升。官方给出的平均识别延迟约为200至600毫秒,指每个字说出口到被识别出来的平均耗时。加入流式支持并未牺牲离线识别准确率,同一套权重在离线转写任务上保持原有表现。

官方评测:英文AMI 160毫秒下WER 11.37%

官方在英文与中文多个公开测试集上给出了流式与离线对比。以英文会议语音集AMI为例,在160毫秒解码块设置下,模型录得11.37%的词错误率,优于同设置下的X-ASR、Nemotron与Voxtral,也接近200毫秒设置下WhisperRT的表现。官方说明,在延迟与识别质量两项上,该模型在开源模型中处于领先位置。

与同类方案的差异

GPT-Realtime-Whisper是托管接口,按分钟计费,闭源;Fun-ASR-Realtime是开源流式模型,支持本地部署,Apache 2.0许可。Confucius4-R2T2的差异在于交付可下载的权重,且采用不回改的提交方式。延迟口径也不完全可比:本项目给出解码块与平均识别延迟,另外两款分别以服务端表现与实时倍率描述。需要把识别结果直接喂给下游系统的团队,应重点比较已提交文本的稳定性。

应用场景与使用方式

模型面向需要边接收语音边产出文本的任务:实时字幕与直播转写、会议记录与速记、语音智能体入口、同声传译上游。它原生支持上下文与热词提示,接入业务词表后可改善专有名词与行业术语识别。官方提供WebSocket服务,把增量音频推送与文本返回封装为持续连接。

权重已上架Hugging Face与ModelScope。本地部署可用Transformers或vLLM,仓库提供Conda与uv两种环境配置及Docker镜像。离线转写使用onetime_vllm,实时转写使用stream_vllm;通过CHUNK_SIZE_MS在80毫秒至2秒之间调整;WebSocket接口为/asr_stream_api_v1。上线前建议固定解码块大小与可接受字错误率上限,用自有音频集跑一轮对比。

价格与许可

模型以开源方式发布,权重可免费下载用于自建服务,成本集中在推理硬件与运维。但需注意:权重适用网易自有的模型使用许可协议,并非Apache 2.0。同批发布的Confucius4-T3PO采用Apache 2.0,两者条款不同,商用前需分别核对许可范围与二次分发要求。社区已推出多个量化版本,可在消费级设备上以更低显存运行。

对于正在搭建实时语音链路的团队,Confucius4-R2T2提供了一个可私有化部署、输出稳定的开源选项。它不处理翻译,但可与流式翻译模型串联,组成完整的实时跨语言链路。


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1459.html发布于 2026-09-28
文章转载或复制请以超链接形式并注明出处三文阁