Adobe再来! 新 AI 工具允许声音设计师通过哼唱和模仿声音来创建音频
Adobe研究团队与美国西北大学共同开发了Sketch2Sound,这是一个创新的人工智能系统,能够将声音模仿和文本描述转化为专业的音效和氛围音,为音效创作领域带来了革命性的突破。
我们之前也介绍过ADOBE的一些AI功能,有的已经应用在最新版本中,这个功能也会尽快进入ADOBE最新更新里:危险危险危险!来看看Adobe MAX大会的AI音频生成
Sketch2Sound不仅是一个工具,更是一个可能彻底改变音效设计师工作方式的平台。它允许用户通过简单的哼唱、用声音模仿各种音效,以及用普通文本描述他们想要的效果,来轻松创作出专业级的音频内容。这种前所未有的交互方式,极大地降低了音效创作的门槛,使得更多人能够参与到音效创作中来。
该系统深入分析了声音输入的三个关键要素:响度(即声音的音量大小)、音色(决定声音是明亮还是暗沉的频谱质心)和音高(声音的高低变化)。通过对这些要素的精准捕捉和分析,Sketch2Sound能够准确地理解用户的意图,并将这些声音特征与文本描述相结合,生成出既符合用户要求又具有高度真实感的音效。
其实专业声音人对生成式音效厂商Krotos的产品并不陌生,Reformer(Reformer Pro 1.3快速使用指南)也是一种通过麦克风生成个性化音效的工具,不过这款产品目前并没有应用AI技术。
而Sketch2Sound的高级之处,远不止于它的声音模仿塑造和文本描述功能。更令人惊叹的是,它能够理解上下文,并根据用户的输入自动调整生成音效的内容和风格。例如,如果用户输入“森林氛围”并发出简短的声音,系统会自动识别这些声音应该被转化为森林中的鸟鸣、风声等自然音效,而无需用户给出具体的指令。这种智能化的上下文理解能力,使得Sketch2Sound在音效创作领域的应用更加广泛和灵活。
在音乐创作方面,Sketch2Sound同样展现出了其强大的实力。用户可以输入“低音鼓、军鼓”等乐器名称,并用低音和高音哼出他们想要的节奏。系统会自动将低音鼓的声音放在低音部分,将军鼓的声音放在高音部分,从而生成出符合用户节奏要求的鼓点音效。这种智能化的音乐创作方式,无疑为音乐爱好者提供了一个全新的创作平台。
为了满足专业人士对音效精细控制的需求,研究团队在Sketch2Sound中内置了特殊的过滤技术。这种技术允许用户根据自己的需要调整生成声音的精确度。音效设计师可以选择精确、详细的控制方式,以获得高度还原的音效效果;也可以选择更宽松、近似的方法,以快速生成出符合要求的音效。这种灵活性使得Sketch2Sound在音效创作领域的应用更加广泛和深入。
拟音师作为电影和电视节目音效创作的重要角色,他们的工作往往需要花费大量时间和精力来操作实物制造声音。然而,随着Sketch2Sound的出现,他们的工作方式有望得到彻底的改变。拟音师可以通过声音模仿和文本描述来更快速地创建音效效果,从而提高工作效率和创作质量。这种创新性的工作方式不仅为拟音师带来了便利,也为整个音效创作领域带来了新的发展机遇。
当然,作为一个创新的人工智能系统,Sketch2Sound也面临着一些挑战。研究人员指出,输入录音中的空间音频特性有时会以不希望的方式影响生成的声音质量。为了解决这个问题,他们正在不断努力优化系统的算法和模型结构。同时,他们也在积极探索Sketch2Sound在更多领域的应用可能性,以推动其商业化进程。
尽管Adobe尚未宣布Sketch2Sound何时或是否会成为商业产品,但其强大的功能和广泛的应用前景已经引起了业界的广泛关注和期待。相信在不久的将来,Sketch2Sound将成为音效创作领域的重要工具之一,为音效设计师和爱好者们带来更加便捷、高效和有趣的创作体验。