MusicLM,这是一个从文本描述中生成高保真音乐的模型,例如“由扭曲的吉他重复段支撑的平静的小提琴旋律”。MusicLM将条件音乐生成的过程转换为分层序列到序列的建模任务,它以24千赫的频率生成音乐,在几分钟内保持一致。我们的实验表明,MusicLM在音频质量和对文本描述的依从性方面都优于以前的系统。此外,我们还演示了MusicLM可以同时以文本和旋律为条件,因为它可以根据文本标题中描述的风格转换口哨和哼唱的旋律。为了支持未来的研究,我们公开发布了MusicCaps,这是一个由5.5k音乐文本对组成的数据集,由人类专家提供丰富的文本描述。
MusicLM展现了文本生成音乐领域的令人欣喜的进展,其音质表现和对描述的还原度颇具潜力,为创意表达提供了新颖的工具,温和地推开了一扇通往未来音乐创作的门。
MusicLM在文本到音乐的生成方面表现令人印象深刻,音质细腻且与描述契合度较高,为创意音乐制作提供了新颖的思路,展现出较大潜力。