腾讯混元开源AuK:一句话改录音,16类语音任务一个接口

流云 2026-10-22 1292 0条评论
摘要: 9月9日,腾讯混元开源AuK,一个1.5B参数的语音生成与编辑基础模型,MIT协议。它把语音的生成与修改收进同一个消息式接口:一段自然语言指令加上可选原音频,模型自行判断该做哪类处...

9月9日,腾讯混元开源AuK,一个1.5B参数的语音生成与编辑基础模型,MIT协议。它把语音的生成与修改收进同一个消息式接口:一段自然语言指令加上可选原音频,模型自行判断该做哪类处理,再输出等长或指定时长的结果。16类任务共用一个接口,不必为不同任务切换权重。在AI工具导航的语音分类中,这种“统一指令接口”的设计,与为每类任务单独训练模型的传统路线形成了明确区隔。

内容改写:替换、插入与删除原句

内容编辑针对“说了什么”。指令里写明把哪一句换成什么,模型在保留说话人与韵律的前提下重写这段语音;同一接口也处理歌词改写,换词时保留原曲旋律与演唱音色。对有稿修改需求的配音返工最直接——旁白读到某句才发觉措辞不顺,用内容编辑替换该句,前后语气与音色保持一致,不必整段重录。副语言编辑改的是“怎么说”:按描述调整情绪与音色,去掉方言口音而保留本人声音,删除或补入呼吸、笑声这类非语声,也能在正常语音与耳语之间转换。声学编辑处理音高、语速与音量,语速调整后输出长度随倍率变化。

增强与分离:从混合音频里取回目标人声

降噪、去混响与人声修复属于同一组调用,指令里说明保留什么、去除什么即可。分离可按说话顺序保留指定人、从音乐混音中抽取演唱轨,也能按“说了哪句话”定位目标说话人做定向抽取。对于关注AI办公软件推荐的团队,配音素材整理是直接受益场景:把多人访谈按说话顺序拆成单人轨,再逐轨降噪与去混响,入库前完成基础清洗,省去在多个工具间切换的麻烦。

两档推理:Base保质量,Flash走四步

AuK-Flash是蒸馏版本,固定4步采样且CFG设为0,换取更短的出结果时间;Base版本保留可调采样步数与CFG。两者共用同一份Qwen2.5-Omni-3B文本编码器,通过--ckpt指向不同权重即可切换。与FireRedTTS3、Fun-CosyVoice3.5相比,三款都把合成与修改放在同一套权重里,差别在编辑覆盖范围:AuK把降噪、去混响与人声分离也算进指令体系,另两款重心在合成与语音内属性调整;推理部署上AuK入口最多,ComfyUI与Apple Silicon都支持;模型形态上只有AuK给了专门的四步蒸馏版本。

使用与显存

官方给出三条路径:先在Hugging Face或ModelScope演示空间试听,确认任务识别正确后再进入本地部署。本地命令行用uv或conda建独立环境,下载AuK、可选的AuK-Flash以及Qwen2.5-Omni-3B三份权重,执行auk-infer并传入音频、指令与输出路径,指令里要写清替换哪一句或保留哪一路人声。显存不足时追加--cpu_offload,改用Flash版本则把--ckpt指向auk_flash.safetensors。图形界面启动auk-gradio,ComfyUI集成把仓库链接进custom_nodes后打开内置工作流。官方在单张A800-SGX4-80GB上以bf16实测:纯文本输入生成1.5秒语音峰值显存24.78GiB,带5秒参考音频时25.00GiB;开启offload后分别降到16.75GiB与16.98GiB。

编辑判断

AuK的价值不在于单项指标登顶,而在于把16类语音任务收进一个指令接口。对于需要批量返工配音的有声内容制作方,它省掉的是“换一个任务、换一个模型”的工程成本;对于语音合成与音频处理方向的算法团队,MIT协议、完整权重与推理代码意味着可以按需改造。但24.8GiB的显存门槛仍在,官方实测数字取自A800,实际占用随输入长度与精度浮动,建议先用内置样例测一次实际占用再决定部署规模。语音编辑的入口正在从专业软件向自然语言指令迁移,AuK是这条路线上的一个明确路标。


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1517.html发布于 2026-10-22
文章转载或复制请以超链接形式并注明出处三文阁