{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}

Audiocraft 音频生成

AudioCraft：MusicGen 文本转音乐，AudioGen 文本转声音。

Skill 元数据


来源	内置（默认安装）
路径	`skills/mlops/models/audiocraft`
版本	`1.0.0`
作者	Orchestra Research
许可证	MIT
依赖	`audiocraft`, `torch>=2.0.0`, `transformers>=4.30.0`
平台	linux, macos
标签	`Multimodal`, `Audio Generation`, `Text-to-Music`, `Text-to-Audio`, `MusicGen`

参考：完整 SKILL.md

信息

以下是 Hermes 在触发此 skill 时加载的完整 skill 定义。这是 agent 在 skill 激活时所看到的指令内容。

AudioCraft：音频生成

使用 Meta 的 AudioCraft 进行文本转音乐和文本转音频生成的完整指南，涵盖 MusicGen、AudioGen 和 EnCodec。

何时使用 AudioCraft

在以下情况下使用 AudioCraft：

需要从文本描述生成音乐

创建音效和环境音频

构建音乐生成应用

需要旋律条件化的音乐生成

需要立体声音频输出

需要可控的风格迁移音乐生成

核心功能：

MusicGen：支持旋律条件化的文本转音乐生成

AudioGen：文本转音效生成

EnCodec：高保真神经音频编解码器

多种模型规格：从 Small（300M）到 Large（3.3B）

立体声支持：完整立体声音频生成

风格条件化：MusicGen-Style 支持基于参考的生成

以下情况请使用替代方案：

Stable Audio：用于较长的商业音乐生成

Bark：用于带音乐/音效的文本转语音

Riffusion：用于基于频谱图的音乐生成

OpenAI Jukebox：用于带歌词的原始音频生成

快速开始

安装

基础文本转音乐（AudioCraft）

使用 HuggingFace Transformers

使用 AudioGen 进行文本转声音

核心概念

架构概览

AudioCraft Architecture:
┌──────────────────────────────────────────────────────────────┐
│                    Text Encoder (T5)                          │
│                         │                                     │
│                    Text Embeddings                            │
└────────────────────────┬─────────────────────────────────────┘
                         │
┌────────────────────────▼─────────────────────────────────────┐
│              Transformer Decoder (LM)                         │
│     Auto-regressively generates audio tokens                  │
│     Using efficient token interleaving patterns               │
└────────────────────────┬─────────────────────────────────────┘
                         │
┌────────────────────────▼─────────────────────────────────────┐
│                EnCodec Audio Decoder                          │
│        Converts tokens back to audio waveform                 │
└──────────────────────────────────────────────────────────────┘

模型变体

模型	规模	描述	适用场景
`musicgen-small`	300M	文本转音乐	快速生成
`musicgen-medium`	1.5B	文本转音乐	均衡选择
`musicgen-large`	3.3B	文本转音乐	最佳质量
`musicgen-melody`	1.5B	文本 + 旋律	旋律条件化
`musicgen-melody-large`	3.3B	文本 + 旋律	最佳旋律效果
`musicgen-stereo-*`	不定	立体声输出	立体声生成
`musicgen-style`	1.5B	风格迁移	基于参考的生成
`audiogen-medium`	1.5B	文本转声音	音效生成

生成参数

参数	默认值	描述
`duration`	8.0	时长（秒），范围 1-120
`top_k`	250	Top-k 采样
`top_p`	0.0	Nucleus 采样（0 = 禁用）
`temperature`	1.0	采样温度
`cfg_coef`	3.0	无分类器引导系数

MusicGen 用法

文本转音乐生成

旋律条件化生成

立体声生成

音频续写

MusicGen-Style 用法

风格条件化生成

仅风格生成（无文本）

AudioGen 用法

音效生成

EnCodec 用法

音频压缩

常见工作流

工作流 1：音乐生成流水线

工作流 2：音效批量处理

工作流 3：Gradio 演示

性能优化

内存优化

批处理效率

GPU 显存需求

模型	FP32 显存	FP16 显存
musicgen-small	~4GB	~2GB
musicgen-medium	~8GB	~4GB
musicgen-large	~16GB	~8GB

常见问题

问题	解决方案
CUDA 显存不足	使用较小模型，缩短时长
质量较差	提高 cfg_coef，优化 prompt
生成时长过短	检查最大时长设置
音频有杂音	尝试不同的 temperature
立体声不生效	使用立体声模型变体

参考资料

高级用法 - 训练、微调、部署

故障排查 - 常见问题与解决方案

资源

GitHub：https://github.com/facebookresearch/audiocraft

论文（MusicGen）：https://arxiv.org/abs/2306.05284

论文（AudioGen）：https://arxiv.org/abs/2209.15352

HuggingFace：https://huggingface.co/facebook/musicgen-small

演示：https://huggingface.co/spaces/facebook/MusicGen

"Audiocraft 音频生成 — AudioCraft：MusicGen 文本转音乐，AudioGen 文本转声音"

Audiocraft 音频生成#

Skill 元数据#

参考：完整 SKILL.md#

AudioCraft：音频生成#

何时使用 AudioCraft#

快速开始#

安装#

基础文本转音乐（AudioCraft）#

使用 HuggingFace Transformers#

使用 AudioGen 进行文本转声音#

核心概念#

架构概览#

模型变体#

生成参数#

MusicGen 用法#

文本转音乐生成#

旋律条件化生成#

立体声生成#

音频续写#

MusicGen-Style 用法#

风格条件化生成#

仅风格生成（无文本）#

AudioGen 用法#

音效生成#

EnCodec 用法#

音频压缩#

常见工作流#

工作流 1：音乐生成流水线#

工作流 2：音效批量处理#

工作流 3：Gradio 演示#

性能优化#

内存优化#

批处理效率#

GPU 显存需求#

常见问题#

参考资料#

资源#

Audiocraft 音频生成

Skill 元数据

参考：完整 SKILL.md

AudioCraft：音频生成

何时使用 AudioCraft

快速开始

安装

基础文本转音乐（AudioCraft）

使用 HuggingFace Transformers

使用 AudioGen 进行文本转声音

核心概念

架构概览

模型变体

生成参数

MusicGen 用法

文本转音乐生成

旋律条件化生成

立体声生成

音频续写

MusicGen-Style 用法

风格条件化生成

仅风格生成（无文本）

AudioGen 用法

音效生成

EnCodec 用法

音频压缩

常见工作流

工作流 1：音乐生成流水线

工作流 2：音效批量处理

工作流 3：Gradio 演示

性能优化

内存优化

批处理效率

GPU 显存需求

常见问题

参考资料

资源