9B参数统一音频理解与生成，MMAU三项第一，会议纪要、语音克隆一模型搞定

摘要： 2026年8月21日，小红书FireRed团队正式开源FireRedAudio——一款通用音频语言模型。它基于Qwen3.5架构、参数量9B，用解耦连续表征把音频理解与...

一、解耦连续表征：把“听懂”和“开口”装进同一个主干

FireRedAudio与偏合成的CosyVoice 2.0等语音模型不同，它把“听懂”和“开口/改录音”放进同一个9B主干，而非把多条独立流水线拼装起来——它更接近一个“音频版的通用语言模型”，而非单一用途的语音工具。

模型用解耦的连续表征让“理解”与“生成”各走独立通路，再汇入同一个LLM。这种结构让单一模型既能做语音识别与音频问答，也能做语音克隆与编辑，避免了传统方案里ASR、TTS、编辑各管一段带来的误差累积与运维成本。在部署形态上，9B主干更适合服务端批量推理；若要做端侧或实时场景，可结合量化与流式解码进一步压低延迟。

二、多任务统一覆盖

• 语音识别（ASR） ：高准确度的多语种语音转写

• 音频问答：对一段音频提问并给出自然语言回答

• 长音频理解：支持约1小时长音频的上下文理解

• 语音克隆：从参考音频生成目标音色

• 语音编辑：在已有音频上做插入/删除/替换

这种“理解—生成解耦再融合”的结构，让模型在音频问答时能看到自己的生成表征，在语音编辑时也能理解上下文语义，从而把传统上需要ASR + LLM + TTS三段拼接的流程收敛到一个主干里。它也让“先理解再生成”类任务更容易复用同一套上下文：比如先听完一段会议录音、再对其中某句话做语义级编辑，模型不必在两条流水线之间搬运中间结果，编辑的位置也能与理解到的语义直接对齐。

在AI工具导航的框架下，FireRedAudio与专注于语音合成的CosyVoice 2.0、偏向实时对话的Qwen-Audio-3.0-Realtime形成了明确的定位区隔——它更接近“音频任务的基础设施”，而不是某个单一功能的终端工具。对于需要同时处理“听”和“说”的音频应用开发者而言，这意味着可以用一个模型覆盖会议纪要、语音克隆、播客剪辑等多个场景，而不必维护ASR、TTS、编辑三条独立的流水线。

三、评测表现与横向对比

在MMAU评测中，FireRedAudio三项子任务均列第一：82.0 / 80.9 / 83.3；FLEURS-102多语种识别错误率14.94%，在统一音频模型里属于第一梯队。

如果你的需求只是高保真中文配音，CosyVoice 2.0仍是成熟选择；但当产品需要“先听懂再开口”——比如会议助手、播客智能剪辑这类既要理解又要生成的场景，FireRedAudio的统一主干会比拼装流水线更省心，也更容易在单一服务里维护。约1小时的长音频理解与秒级时间定位能力，让它在会议纪要、播客整理、访谈分析这类“按内容反查时间点”的场景里具备独立价值，而这正是传统ASR+编辑拼装方案最难做好的部分。与同团队此前开源的FireRedTTS3相比，FireRedAudio把能力边界从语音生成扩展到了统一的音频理解与生成。

四、应用场景与适用人群

• 智能音频助手：用语音问答+长音频理解做会议记录、播客要点提取与口语化问答

• 多语种内容生产：ASR转写配合语音克隆/编辑，做跨语种配音与有声内容二次创作

• 语音编辑与修复：对已有录音做语义级插入/删除/替换，快速改稿无需重录

适用人群：音频应用开发者、播客与短视频创作者、做会议/客服语音分析的团队、需要语音克隆与编辑的内容工作室，以及研究统一音频建模的高校研究者。相比拼装多条流水线，单模型方案对中小团队更省运维。

在AI办公软件推荐的语境下，FireRedAudio的价值在于它将传统上需要三套独立系统才能完成的任务——听清、理解、开口、改录——压缩到了单一服务之中。对于需要搭建内部语音工作流的团队而言，这意味着从“集成多个模型”变成了“部署一个模型”，运维成本和数据流转的复杂度都显著降低。

五、如何使用与开源状态

FireRedAudio以Apache-2.0协议完全开源，9B权重与代码已在GitHub、Hugging Face与ModelScope同步开放，研究、学习与商业集成均可免费下载使用，商用无授权费。推理显存约20GB级，需CUDA与ffmpeg环境。克隆仓库、安装依赖、拉取权重后，参照examples目录下的ASR、音频问答、克隆与编辑脚本即可分别体验各项能力，封装为本地服务后按四类接口接入业务。需注意语音克隆功能官方声明仅限学术研究用途、禁止非法使用，商用落地前应确认参考音频的授权来源。