英伟达携全新AI模型“颠覆”音频界：可创作音乐、修改人声

时间：2024年11月26日 10:46:13 中财网

　　据报道，英伟达(Nvidia)开发了一种新型人工智能(AI)模型，可以创造声音效果，改变人的发音方式，并使用自然语言提示生成音乐。

　　这个模型被命名为Fugatto，即Foundational Generative Audio Transformer Opus 1，是一个研究项目。英伟达表示，它不会宣布任何发布这项技术的计划，但它可能会对从音乐、娱乐到翻译服务等行业产生广泛的影响。

　　英伟达应用深度学习研究副总裁Bryan Catanzaro在接受采访时表示：“Fugatto最令人兴奋的地方在于，它拥有一个模型，你可以要求它以某种方式发出声音，这真的打开了你对它应用范围的想象。”

　　他进一步解释说，市场上的其他模型，有些可以合成语音，有些可以为音乐添加音效，但Fugatto全部都可以做到。Catanzaro说，可以将其视为视频和图像生成模型(如Stability AI的Stable Video Diffusion或OpenAI的Sora)的一种补充。

　　“这里最基本的改进是……我们能够使用语言合成音频，我认为，这为人们可以用来创造惊人音频的工具开辟了新的前景。”他补充说。

　　根据英伟达的说法，Fugatto是第一个具有新兴特性的基础模型，这意味着它能够混合经过训练的元素，并遵循“自由形式的指令”。

　　具体而言，该模型可以通过标准的文字提示生成音频，也可以处理您上传的音频文件。所以，如果你有一个人说话的文件，你可以把那个人的话翻译成另一种语言，同时让它听起来像他的声音。你也可以选择一个简单的曲调，让它听起来像管弦乐表演，或者在音乐中添加不同的节拍。

　　此外，你也可以上传一个文档，让模型用你喜欢的任何声音朗读。更重要的是，你可以告诉模型发出带有情感分量的声音。

　　不过，Catanzaro也补充说，这种模型并不总是完美的。而且，就像生成图像和视频的模型一样，Fugatto也会催生艺术家、音响工程师和相关领域人员的担忧。但Catanzaro指出，他的本意是希望这项技术能帮助音乐家。

　　“我希望这是艺术家探索的新工具。”“我认为音频一直是一个富有成效的探索领域。你知道，当我们获得新的音频工具时，有时我们会获得新的音乐形式。”他说。