最近，个开搞定告Meta 宣告并开源了多个 AI 模子，源库好比 Llama 系列模子、种种分割所有的文本 SAM 模子 。这些模子增长了开源社区的到音钻研妨碍。如今，频天Meta 又开源了一个可能天生种种音频的个开搞定告 PyTorch 库 ——AudioCraft，并果真了其技术细节。源库

• 代码地址：https://github.com/facebookresearch/audiocraft

• 名目主页 ：https://audiocraft.metademolab.com/?种种utm_source=twitter&utm_medium=organic_social&utm_campaign=audiocraft&utm_content=card

AudioCraft 可能基于用户输入的文本天生高品质  、高保真的文本音频 。咱们先来听一下天生下场。到音

AudioCraft 可能天生一些事实场景中的频天声音，好比输入文本 prompt：「Whistling with wind blowing（风咆哮而过）」

还能天生有旋律的个开搞定告音乐 ，好比输入文本 prompt：「Pop dance track with catchy melodies,源库 tropical percussions, and upbeat rhythms, perfect for the beach（盛行舞曲，具备朗朗上口的种种旋律 、热带侵略乐以及欢喜的节奏，颇为适宜海滩）」

致使还可能抉择详细的乐器，天生特定的音乐，好比输入文本输入文本 prompt：「Earthy tones, environmentally conscious, ukulele-infused, harmonic, breezy, easygoing, organic instrumentation, gentle grooves（简朴的曲调，环保理念，尤克里里，以及声，轻松 ，随以及，有机乐器 ，暖以及的节奏）」

AudioCraft 简介

比照于文本、图像，音频天生是更具挑战性的，由于天生高保真音频需要对于重大的信号以及方式妨碍建模。

为了高品质地天生种种音频，AudioCraft 搜罗三个模子：MusicGen  、AudioGen 以及 EnCodec。其中，MusicGen 运用 Meta 具备版权的音乐数据妨碍磨炼，基于用户输入的文本天生音乐；AudioGen 运用公共音效数据妨碍磨炼，基于用户输入的文本天生音频；EnCodec 用于缩短音频并以高保真度重修原始信号
。解码器可能保障天生的音乐是高品质的。

从原始音频信号天生音频需要对于极长的序列妨碍建模。好比 ，以 44.1 kHz 采样的多少分钟音乐曲目由数百万个光阴步（timestep）组成。比照之下，Llama 以及 Llama 2 等基于文本的天生模子是将文本处置成子词，每一个样本仅需要多少千个光阴步 。

MusicGen 是特意为音乐天生量身定制的音频天生模子 。音乐曲目比情景声音更重大，在建树新的音乐作品时 ，在长程（long-term）妄想入地生毗邻的样本颇为紧张 。MusicGen 在约莫 400000 个录音以及文本形貌以及元数据上妨碍磨炼 ，合计 20000 小时的音乐 。

AudioGen 模子可能天生情景声音及声效 ，好比狗啼声、汽车喇叭声或者脚步声。

EnCodec 神经音频编解码器从原始信号中学习离散音频 token，这至关于给音乐样本提供了新的牢靠「辞汇」；而后钻研团队又在这些离散的音频 token 上磨炼自回归语言模子 ，以在运用 EnCodec 的解码器将 token 转换回音频空间时天生新的 token、声音以及音乐。

总的来说 ，AudioCraft 简化了音频天生模子的部份妄想。MusicGen 以及 AudioGen 均由单个自回归语言模子组成，并在缩短的离散音乐表征流（即 token）上运行。AudioCraft让用户可能运用差距规范的条件模子来操作天生，好比运用预磨炼的文本编码器实现文本到音频天生 。

参考链接 ：https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/

• ·NBA:森林狼VS鹈鹕
• ·再见，中超助攻王！武汉三镇的“救命钱”来了：1960万元
• ·该来的总要来！波波：愿望文班等三人在先天对于阵火箭时都能出战
• ·旅客携保健石入境 核辐射超标千倍：为喷射性物资钍
• ·英超快报：曼联遭遇主场溃败，滕哈格陷入帅位危机《家有儿女》中明目张胆的穿帮镜头，导演是把观众当傻子吗？
• ·颜值过高!公共ID.Buzz GTX电动车谍照曝光
• ·狂人！罗马绝杀穆里尼奥奚落对于手染红 纵容做闭嘴+擦眼泪手势
• ·【逐日精选赛当时瞻】澳超：珀斯光华vs纽卡斯尔喷气机
• ·NBA常规赛：快船战胜爵士取3连胜！阵容磨合渐入佳境！
• ·祁连山国家公园青海片区模子估算出雪豹251只
• ·为甚么蚊子只咬你，不咬他人？
• ·66印与格之格告竣策略相助，共创智能云打印新篇章
• ·爵士与火箭商讨交易，安总豪送芬兰内线+凯斯勒，斯通开心不已！
• ·徐工总体首台能源电池下线宣告，接管比亚迪刀片电芯
• ·佳夫全场数据：冒失犯规染红，获评全场最低5.7分
• ·马竞民间：利诺膝盖中度扭伤，将开始妨碍理疗以及痊愈磨炼