小红书开源统一语音生成与编辑模型，24种语言+21种方言，Seed-TTS-eval双第一

摘要：    2026年8月，小红书FireRed团队正式推出FireRedTTS3——一款统一语音生成与编辑模型。它并非传统TTS，而是将语音合成、零样本音色克隆、自...

   2026年8月，小红书FireRed团队正式推出FireRedTTS3——一款统一语音生成与编辑模型。它并非传统TTS，而是将语音合成、零样本音色克隆、自然语言声音设计与语义级编辑整合在同一套权重中。模型支持24种语言与21种中文方言的零样本克隆，在Seed-TTS-eval评测中WER/CER达3.04%、相似度78.8，双双拿下第一。Base与Instruct双版本已开源，采用Apache-2.0协议，适用于学术研究、跨语种内容创作与语音编辑场景。

一、RedAE加LLM-DiT的双轨架构

FireRedTTS3与传统TTS模型的关键差异在于"统一性"——一个模型同时覆盖合成、克隆、设计与编辑四类任务。

架构层面，RedAE训练时冻结一个语音编码器作为"语义老师"，对中间语音表征做语义蒸馏，推理时该编码器被直接丢弃，不增加运行时开销；LLM-DiT端到端完成文本到声学token生成，由DiT做patch级自回归去噪并采样24kHz波形。同一套权重既能完成克隆，也能完成编辑与声音设计，无需为不同任务加载不同模型。

二、四项核心能力

• 多语言覆盖：单模型支持24种语言+21种中文方言的零样本克隆，是目前开源TTS中语种覆盖最广的方案之一

• 零样本音色克隆：仅需数秒参考音频即可克隆目标音色，支持跨语种迁移

• 声音设计与编辑：根据性别、年龄、音色等自然语言描述生成全新声音；同时支持语义级插入/删除/替换与速度/音高/音量等声学参数调节

• 开源权重：Base与Instruct双版本均开放下载，Apache-2.0协议允许二次开发

三、开发时间线

• 2026年8月5日：FireRedTTS3-Base权重于HuggingFace首发

• 8月13日：Instruct版本与PyTorch推理脚本同步发布

• 8月21日：技术报告arXiv编号2608.17492 v2修订版上线，Seed-TTS-eval双第一成绩公开

四、与主流TTS模型的对比

在AI开源模型生态中，FireRedTTS3的差异化非常清晰：它同时拿下Seed-TTS-eval与MiniMax-MLS-Test两个数据集的WER/CER与相似度双指标第一，叠加24种语言+21种方言的单模型覆盖，明显拉开与同代开源TTS的差距。零样本克隆之外内置语义级编辑能力，是它与传统合成模型最显著的差异。

五、应用场景与适用人群

• 多语种有声内容：同一段文本快速合成中、英、日、韩等多语种语音，适用于有声书、播客、短视频配音

• 方言与本地化：粤、川、沪、闽南、温州等方言克隆应用于本地化播报、文旅讲解与方言教学

• 声音设计与编辑研究：游戏NPC、广告用自然语言描述即可生成音色参考样本；编辑接口支持语义级插入/删除/替换与声学参数调节

适用人群：语音合成研究者、TTS算法工程师、多语种内容创作者、方言保护与本地化从业者、需要自定义声音设计的游戏与广告团队。在AI工具导航的框架下，FireRedTTS3属于专业级语音生成基础设施，而非终端应用——它的输出可以为播客制作、视频配音、游戏开发等上层内容创作提供素材。官方明确零样本克隆"仅限学术研究"且禁止非法用途，商业产品上线前应再次评估合规边界。

六、如何使用FireRedTTS3

环境推荐RTX 4090或同级显卡，A100/H800推荐用于完整推理；系统选Linux + Python 3.10 + PyTorch 2.1+。克隆仓库后安装依赖，从HuggingFace或ModelScope下载Base与Instruct权重，参照examples/目录下的推理脚本分别完成克隆与编辑。声学参数可按speed∈[0.5,2.0]、pitch∈±1~±6、volume∈[0.3,2.0]区间调节输出。

七、开源协议与合规注意

• 开源协议：Apache-2.0，可下载、修改、再发布

• 使用与商用边界：研究、学习场景可自由下载权重与代码；零样本克隆功能限定学术研究并禁止非法用途；商业集成需自行评估合规风险

• 版本与数据：代码与权重见GitHub FireRedTeam组织下的FireRedTTS3仓库及HuggingFace/ModelScope同名模型页