YuE2开源音乐模型:先写谱再唱歌,谱面可改可回灌

流云 2026-10-19 1212 0条评论
摘要: 9月29日,M·A·P联合港科大等8家机构开源YuE2,一款符号与音频统一的音乐生成模型。它的差异不在“能不能出歌”,而在生成过程被拆成可审计的两段:符号段产出旋律与和弦,音频段把...

9月29日,M·A·P联合港科大等8家机构开源YuE2,一款符号与音频统一的音乐生成模型。它的差异不在“能不能出歌”,而在生成过程被拆成可审计的两段:符号段产出旋律与和弦,音频段把符号变成声音。谱面因此成了人能检查、智能体也能修改的中间层。Apache-2.0许可,可商用、可自托管,单卡24GB显存起。

先写谱,再渲染

输入歌词与风格后,模型先生成旋律与和弦计划并落成ABC记谱文本,再据此渲染人声与伴奏。相比Suno这类直接出音频的黑箱流程,谱面是可以打开看的——你知道它打算用哪个和弦走向、旋律在哪个音区起落,也能在渲染前把不想要的部分改掉。参数cot分三档:full生成可编辑的旋律加和弦计划,是新歌默认;melody只锁旋律、放开伴奏,官方推荐用于翻唱;off跳过谱面直接从歌词与风格出音频。另有abc参数可喂进自己的谱面,把人写的曲和模型编的曲放进同一条流水线。在AI工具导航的音乐生成分类中,这种“中间产物可读”的设计,与一键出歌的闭源服务形成了明确区隔。

零样本翻唱:有谱和没谱差100倍

翻唱路径先用SheetSage2把参考录音转成旋律ABC谱,再让YuE2按目标风格重新编曲演唱。官方在948首作品上测过:带完整谱面拿到0.647的CLEWS mAP,不带谱面只有0.006,差距几乎全来自“有没有谱”这一件事。它用的是通用生成权重,没有针对翻唱微调。智能体改谱是另一个差异点:把计划导出后,可按“换爵士和声”“保留旋律改配器”这类指令改score.abc,再回灌渲染。官方演示里一首《The Last Train》从普通话流行改到英语爵士,跨9轮对话、14个版本,每版都留下谱面与提示词可对照。对于关注AI办公软件推荐的创作团队,这意味着批量试风格时不必每次从头抽卡,改谱比重抽省下的算力是实打实的。

对比:总分咬得紧,结构差异拉开距离

WildSongBench评测中,YuE2的SongBench均分6.7316,略高于Suno v5.5的6.7150,低于Mureka 9的6.9377,官方写明最高均分之间的差距不足以证明统计显著。真正拉开距离的是两处结构性差异:一是谱面,另外三个都不能把中间作曲结果拿出来看;二是音高准确度,YuE2的PER为8.44%,高于Suno v5.5的5.96%。AudioBox制作质量8.2598,与Suno的8.1955接近。权重方面,YuE2与MiniMax Music 3.0开放,Suno与Mureka闭源。接入门槛上,YuE2需要Linux与Python环境、24GB显存,另外两家网页即用。

谁适合用

因为能把作曲过程摊开,它适合需要反复打磨的场合:短视频与播客配乐先按情绪出谱,再改和弦与配器;翻唱改编把已有录音转录成旋律谱,换风格重新编曲;Demo打样给客户听三个和声方案,每个方案附一份可读的谱面说明;音乐教学谱面与音频一一对应;智能体工作流把改谱指令写成流程,批量产出风格变体用于A/B听感测试。适用人群:已有基础音乐概念、愿意为一首歌多花几轮调整的作曲与制作岗位,以及需要把音乐生成嵌进自动化流程的开发者。只想一句话出歌、或不具备Linux环境的人,用商业网页服务更省事。

获取方式

不装环境可直接开yue.noizai.net在线生成。本地跑需Linux、Python 3.12、支持BF16的NVIDIA显卡且显存不低于24GB。克隆仓库后装依赖,首次使用自动从Hugging Face拉取m-a-p/YuE2-3B。跑样例时输出目录除音频外还留着谱面、语义token、声学latent、生成参数与模型标识,便于复现。改谱重渲会生成一版完整新录音,不保留原波形,想对比改动前后必须把两版都存下来。显存吃紧可用NOIZ的YuE2-Turbo加速,或改用ComfyUI官方文生音乐工作流分步调试。Apache-2.0协议允许商用,但训练数据来源、生成内容与所填歌词之间的版权关系需自行判断。


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1506.html发布于 2026-10-19
文章转载或复制请以超链接形式并注明出处三文阁