英伟达把转录、翻译、说话人归属塞进一个34B模型

流云 2026-10-30 1500 0条评论
摘要: 传统语音流水线挺折腾的:ASR转写、说话人分离、机器翻译,几个模型串起来,中间还得对齐格式。英伟达10月底放出的Nemotron 3.5 Transcribe,想用一条自然语言指令...

传统语音流水线挺折腾的:ASR转写、说话人分离、机器翻译,几个模型串起来,中间还得对齐格式。英伟达10月底放出的Nemotron 3.5 Transcribe,想用一条自然语言指令把这些事全干了——转录、说话人归属、翻译、音频问答,同一个模型里切换。开放权重,OpenMDW-1.1许可,可商用。

模型是34B总参数、4.3B激活的混合专家架构,带音频编码器。你给它一段会议录音,可以要求“转录并标注每位说话人”,也可以让它直接翻译成英语,或者问它“会上决定了什么”。文本上下文能放术语和格式约定,65,536 tokens的窗口,单次最长处理1小时录音。注意,这是离线模型,实时转写得另找流式方案。

转录覆盖40种语言,含印地语、孟加拉语、泰米尔语等多种印度语言;其中31种非英语语言支持与英语双向互译。官方矩阵按Leading、Production-ready、Supported三档标注,中文普通话落在Supported级——意思是能用,但可能需微调。音频问答和指令理解官方只在英语下评估,其他语言不保证可靠。

除了逐字和书面形式,它支持上下文转录:给一份预期实体清单,专名错误能降。官方称在ContextASR-Bench上命名实体错误降低六倍。多说话人场景输出说话人归属的逐词时间戳,由轻量CTC对齐器在解码后生成,长录音和重度重叠也能用。但如果你用DFlash2投机解码,CTC词级时间戳就不支持了——这是个取舍。

成绩单方面,英语ASR在Open ASR Leaderboard九个集上4.71% WER,多语言七个语种4.62%。对比Qwen3-ASR-1.7B的4.94%和6.49%,确实更低。但代价是激活参数4.3B对1.7B,部署算力高不少。在AI模型库的语音分类里,这组数字给了一个清晰坐标:要更准、要说话人和翻译,选Nemotron;只要识别、部署轻,Qwen3-ASR更省。

部署有三条路。最直接是自部署:Hugging Face下权重,BF16、FP8、NVFP4三档精度。BF16参考配置1×H100 80GB,装vLLM 0.32.0和NeMo Speech主分支,设VLLM_PLUGINS=nemo_speechlm。NVFP4面向Blackwell架构,能放到DGX Spark、RTX 5090这些设备上。不想装环境就走NIM托管API,build.nvidia.com上按接口传音频和提示词。官方最高吞吐2,238秒音频/秒来自NIM优化环境(RTX PRO 6000 Blackwell 96GB + NVFP4),发布当日的开源vLLM实现大约是一半。先试效果可以去HF Space,有卡拉OK、播客、电影三类多语言演示,上传音频用提示词切换输出形式。

有几个坑得提前说。许可不是传统开源协议,OpenMDW-1.1明确可商用和非商用,但再分发要读条款,还要留意第三方组件的独立授权。官方说NVFP4版本和NeMo-Speech.cpp、vLLM部署方式发布后陆续补齐,自部署前先确认目标精度和工具链版本。开源vLLM吞吐只有NIM优化环境的一半,别拿官方峰值直接估生产。中文普通话是Supported级,专业领域转录效果取决于术语清单质量,生产前用业务录音实测。

Nemotron 3.5 Transcribe的价值不在于“又一个ASR模型”,而在于它把转录、说话人、翻译、问答收进了一个开放权重模型。对需要把会议、访谈、播客转成结构化文本的团队,尤其是要说话人归属或多语种翻译、又希望权重能自部署的场景,这是一个可实测的选项。但4.3B激活的算力门槛不低,离线非流式的定位也很明确。在AI工具导航的语音工具分类里,它更适合作为自建长音频处理管线的核心组件,而不是开箱即用的在线转写服务。


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1544.html发布于 2026-10-30
文章转载或复制请以超链接形式并注明出处三文阁