人工智能公司阶跃星辰（StepFun）与数字音乐平台 ACE Studio 联合推出了音乐生成基础模型 ACE-Step-v1-3.5B。该模型在 NVIDIA A100 GPU 上仅需 20 秒即可生成长达 4 分钟的音乐，比基于 LLM 的基线方法快 15 倍。它在音乐连贯性、歌词对齐和多种音乐风格方面表现出色，支持 19 种语言，并提供精细的声学细节和高级控制机制。用户可在 HyperAI 超神经官网体验一键部署教程和 Demo。

🎧 ACE-Step-v1-3.5B 模型在速度上实现了突破，仅需 20 秒即可生成 4 分钟音乐，远超传统 LLM 模型。

🎶 该模型在音乐连贯性、歌词对齐及器乐和人声表现力方面表现卓越，支持多种音乐风格和 19 种语言。

🕹️ ACE-Step 提供了多任务创作面板，包括 Text2Music、Retake、Repainting、Edit 和 Extend 等功能，方便用户进行音乐创作和调整。

⚙️ 用户可以通过 HyperAI 超神经官网的教程体验一键部署，并使用 NVIDIA GeForce RTX 4090 GPU 进行快速音乐创作。

当前的音乐生成模型在生成速度、音乐连贯性和可控性之间面临着固有的权衡。例如，基于 LLM 的模型（例如 Yue、SongGen）在歌词对齐方面表现出色，但推理速度慢且存在结构性伪影。 另一方面，扩散模型（例如 DiffRhythm）虽然能够实现更快的合成速度，但通常缺乏长距离的结构连贯性。对此，人工智能公司阶跃星辰（StepFun）与数字音乐平台 ACE Studio 联合推出了一款音乐生成基础模型 ACE-Step-v1-3.5B ，于 2025 年 5 月 7 日开源。该模型在 NVIDIA A100 GPU 上只需 20 秒即可合成长达 4 分钟的音乐，比基于 LLM 的基线方法快 15 倍， 同时在旋律、和声和节奏指标方面实现了卓越的音乐连贯性和歌词对齐。

相较于传统 AI 音乐工具， ACE-Step 克服了现有方法的关键局限性，并通过整体架构设计实现了最佳性能，在多元风格流派、多语言支持、器乐表现力和人声表现力 4 个方面有着突出优势。 其开源版本已支持 19 种语言输入，并且保留了精细的声学细节，支持高级控制机制，例如语音克隆、歌词编辑、混音和音轨生成等，此外还支持所有主流音乐风格、多种演唱风格，支持跨流派器乐生成，能精准还原乐器音色特征可生成包含复杂编曲的多轨音乐。

小编借 ACE-Step-v1-3.5B 之手，仅需输入音乐风格和歌词等参数，即可快速生成一段 30 秒的音乐片段～

tag 输入：funk, pop, soul, rock, melodic, guitar, drums, bass, keyboard, percussion, 105 BPM, energetic, upbeat, groovy, vibrant, dynamic

目前，「ACE-Step：音乐生成基础模型」已上线至 HyperAI超神经官网的「教程」板块， 点击下方链接即可体验一键部署教程 ⬇️

教程链接： go.hyper.ai/tTmib

Demo 运行

1.进入 hyper.ai 首页后，选择「教程」页面，并选择「ACE-Step：音乐生成基础模型」，点击「在线运行此教程」。

2.页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。

3.选择「NVIDIA GeForce RTX 4090」以及「PyTorch」镜像，OpenBayes 平台提供了 4 种计费方式，大家可以按照需求选择「按量付费」或「包日/周/月」，点击「继续执行」。新用户使用下方邀请链接注册，可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长！

HyperAI超神经专属邀请链接（直接复制到浏览器打开）：

https://openbayes.com/console/signup?r=Ada0322_NR0n

4.等待分配资源，首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后，点击「API 地址」旁边的跳转箭头，即可跳转至 Demo 页面。由于模型较大，需等待约 3 分钟显示 WebUI 界面，否则将显示「Bad Gateway」。请注意，用户需在实名认证后才能使用 API 地址访问功能。

效果演示

该项目提供多任务创作面板：Text2Music Tab、Retake Tab、 Repainting Tab、Edit Tab 和 Extend Tab。

各模块功能及参数调整简介如下：

Text2Music Tab

Audio Duration：设置生成音频的时长（-1 表示随机生成）

Tags：输入描述性标签、音乐流派或场景描述，用逗号分隔

Lyrics：输入带有结构标签的歌词，如 [verse]、[chorus]、[bridge]

Basic Settings：调整推理步数、指导比例和种子值

Advanced Settings：微调调度器类型、CFG 类型、ERG 设置等参数

点击「Generate」按钮，根据输入内容创作音乐

Retake Tab

功能： 通过不同种子值重新生成音乐并产生细微变化，调整变化参数以控制新版本与原版的差异程度

variance：填写方差

retake seeds (default None)：填写随机数种子

点击「Retake」按钮，重新生成

Repainting Tab

功能： 选择性重新生成音乐的特定段落

variance：方差

retake seeds (default None)：随机种子

Repaint Start Time：指定需要重新生成段落的开始时间

Repaint End Time：指定需要重新生成段落的结束时间

Repaint Source：选择源音频（text2music、last_repaint 或 upload）

点击「Repaint」按钮，重新生成

Edit Tab

功能： 通过调整编辑参数控制对原曲的保留程度

Edit Tags：修改标签来改编现有音乐

Edit Lyrics：修改歌词来改编现有音乐

edit seeds (default None)：编辑随机种子

Edit Type：编辑类型，可选择「only_lyrics」模式（保留原旋律）或「remix」模式（改变旋律）

Repaint End Time：指定需要重新生成段落的结束时间

edit_n_min：编辑最小范围

edit_n_max：编辑最大范围

Edit Source：编辑资源

点击「Edit」按钮，编辑

Extend Tab

功能： 在现有音乐的开头或结尾添加音乐片段

 edit seeds (default None)：扩散随机种子

Left Extend Length：指定左侧扩展时长

Right Extend Length：指定右侧扩展时长

Extend Source：选择需要扩展的源音频

点击「Extend」按钮，扩散