索尼最新黑科技“AI 声音分离技术”可从混合声源中提取单个声音
索尼公司今日发布文章,介绍了索尼的一项“黑科技”创新成果 ——AI 声音分离技术。这项技术可以从混合的音源中提取出单个的声音。由于声音信号仅有两个维度,传统技术对声音进行分离十分困难,但是在 2013 年,索尼引入 AI 人工智能技术,在这个领域更进一步。
目前,这项技术在复原经典电影、消除智能手机的噪音、实现音乐流媒体服务的实时卡拉 OK 功能等方面已经取得了成果,未来还将应用到更多领域。
索尼研发人员光藤祐基在接受采访时表示:AI 声音分离技术可以从音频数据中去除不必要的噪音,只提取人声或其他特定乐器的声音。当人类在聆听一场多种声音混合在一起的表演时,可以分辨出各个乐器,或者在进行对话时,即使被一大群人包围,我们也能自然而然地专注于一个声音。这些都是人类独有的能力,而直到近来,计算机要做到这一点都还是极其困难的。有人将这项任务描述为混合两种果汁,之后提取其中一种。但是在过去的几年里,由于 AI 新方法的引入,这项技术有了极大的提升。
光藤祐基表示,声音分离是由 AI 进行的,而人们可以教计算机来完成这个任务。一把吉他有一个特定的声音或频率,这一点可被神经网络学习到。无论混合了多少种声音,我们的 AI 系统都能够识别这些特征。
另一名索尼的研发人员尤里奇表示,神经网络在所谓的训练中能够学习识别音频特征。在这个训练中,神经网络会看到很多音乐--比我们一生中听到的音乐还要多--以及我们应该提取的目标声音。这些信息足以让神经网络学习声音分离。
据了解到,很多经典电影的对白和音效在同一个音轨上,要想进行优化,需要从中提取人声。索尼的 AI 系统能够成功地从母版中提取单个音效,《阿拉伯的劳伦斯》和《甘地》两步电影的 4K 重制超清版本中,索尼影视娱乐公司的调音师用这项技术提取出声音,用杜比全景声进行重制,创造了一个沉浸式的声场。
据IT之家了解,索尼 AI 声音分离技术还能够应用于电影之外的场景,比如清理通过麦克风记录的人类声音。索尼的自主型娱乐机器人“小狗”aibo 可以利用该技术,更好地识别人声,去除背景噪声,以提高语音识别能力。对用户而言最实际的应用,是利用声音分离技术,将歌曲中的原唱分离出去,制作成卡拉 OK 伴奏。
光藤祐基还表示,希望技术能够像一台时光机一样,让过去和现在的艺术家能够跨时空合作。索尼 PCL 和索尼音乐解决方案刚刚开始使用我们的技术对外提供服务,所以肯定会有更多的应用,非常期待未来的前景。
相关新闻