小米开源“鸡尾酒会”语音模型:多人混聊只听目标人

流云 2026-09-12 986 0条评论
摘要:    在嘈杂的会议或车厢里,人类能轻松锁定某个人的声音,而机器长期做不到——这就是语音识别领域著名的“鸡尾酒会问题”。2026年9月11日,小米开源了Xiaom...

   在嘈杂的会议或车厢里,人类能轻松锁定某个人的声音,而机器长期做不到——这就是语音识别领域著名的“鸡尾酒会问题”。2026年9月11日,小米开源了Xiaomi-CocktailASR-1,一款目标说话人语音识别大模型,试图用端到端方案直接解决这一难题,Apache 2.0协议,可自由商用。

端到端架构:跳过“先分离再识别”

传统方案处理多人混聊,需要先做语音分离,再分别识别,流程繁琐且误差会级联放大。CocktailASR-1反其道而行:以Data2Vec音频编码器(0.6B参数)提取声学特征,经Adapter对齐后交给Qwen3-8B语言模型解码,直接完成从波形到目标人文字的映射。用户只需提供1–4秒的目标说话人参考音频,模型就能在多人混杂录音中只转录那个人的发言;目标人不在场时,直接输出空文本,避免误触发。

硬核数据:多人场景WER 4.11%

在LibriMix 2mix测试集上,CocktailASR-1的词错误率仅4.11%,而通用语音模型Qwen3-ASR高达68.75%,差距超过16倍。在更接近真实会议的AliMeeting数据集上,其WER约21.81%,同样大幅领先。单人场景下,它也没有“偏科”,LibriMix 2mix WER约1.73%,与主流通用ASR基本持平。模型还支持思维链推理,启用后LibriMix 2mix WER可从4.11%进一步降至3.87%,代价是推理时延增加。

负样本拒识与多语种

对非目标说话人的干扰,模型具备强拒识能力。即使参考音频对应的人不在当前对话中,也会返回空文本。正样本有小概率被误判为空,但误拒率仅0.01%–0.73%,对正常使用影响极小。模型支持中文、英文等多语种,并可通过参考音频传递情感信息,实现情感可控的语音识别。

应用场景:会议、车载、客服、播客

多人会议记录中,它能精准锁定发言目标,自动分离不同说话人内容;车载语音助手在车内多人交谈时仅识别目标乘客指令,避免误触发;客服录音质检可从客服与多位客户的通话中提取特定客户发言;播客与访谈剪辑能从多嘉宾长音频中快速提取指定嘉宾片段。对于关注AI工具导航的开发者,这款开源模型可加入自建语音识别方案;而在AI办公软件推荐中,会议记录与客服质检正是语音转写的高频落地场景。

开源与获取

模型权重与推理代码已发布在GitHub与HuggingFace(Ease3/Xiaomi-CocktailASR-1),采用Apache 2.0协议,无按量计费或授权费用。运行环境需Python 3.10+、PyTorch与Transformers,通过trust_remote_code加载模型定义即可。

文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1420.html发布于 2026-09-12
文章转载或复制请以超链接形式并注明出处三文阁