这是一个借助大语言模型(LLM)处理音频的工具,可以:
– 生成音乐
– 背景音效
– 音频生成字幕
– 文字生成音频
– 文字生成音频并模拟声音
– 根据图片生成音频
– 对音频进行inpaint(局部屏蔽)
– 根据音频和人脸照片合成视频
– 检测音频中的事件,以及开始和结束时间
– 单声道变双声道
– 通过文本描述检测特定声音发生的时间
– 抽取某种声音
– 去除背景噪音
多人混合声分离出单人声音
语音翻译
http://github.com/AIGC-Audio/AudioGPT
演示:https://huggingface.co/spaces/AIGC-Audio/AudioGPT
论文:https://arxiv.org/abs/2304.12995
AudioGPT的功能确实非常全面从音乐生成到人声分离几乎涵盖了音频处理的方方面面,让人十分惊喜。不过作为普通用户,上手部署可能需要稍微花点耐心去摸索。整体来说,这是一个极具潜力、值得慢慢探索的宝藏开源工具。