Riffusion

Riffusion 是一个免费开源的具有稳定扩散的实时音乐和音频生成库，用户只需输入音乐描述，AI便可以生成对应风格的音乐。该开源项目由Seth Forsgren 和 Hayk Martiros推出，Riffusion的背后原理是基于Stable Diffusion（文本生成图像模型）微调频谱图，频谱图是音频的视觉表示，显示不同频率随时间的振幅，而后再将高保真度的频谱图图像转换为音频