用于编辑视频中音乐的AI系统

业余和专业音乐家都可能花费数小时倾注YouTube剪辑，以弄清楚如何播放他们喜欢的歌曲的某些部分。但是如果有一种方法可以播放视频并隔离您想要听到的唯一乐器呢?

这是麻省理工学院计算机科学与人工智能实验室(CSAIL)新的AI项目的结果：一个深度学习系统，可以观看音乐表演的视频，隔离特定乐器的声音，使它们更响亮或更柔和。

该系统是“自我监督的”，不需要任何人类注释仪器是什么或它们听起来像什么。

经过超过60小时的视频培训，“PixelPlayer”系统可以观看前所未有的音乐表演，识别像素级别的特定乐器，并提取与这些乐器相关的声音。

例如，它可以播放大号和小号的视频播放“超级马里奥兄弟”主题曲，并分离出与每种乐器相关的声波。

研究人员表示，改变单个乐器音量的能力意味着，在未来，这样的系统可能有助于工程师提高旧音乐会录像的音质。你甚至可以想象制作人采用特定的乐器部件并预览他们听起来与其他乐器一样的声音(即换成一个声学乐器的电吉他)。

在一篇新论文中，该团队证明PixelPlayer可以识别超过20种常见乐器的声音。第一作者Hang Zhao表示，如果系统有更多的训练数据，系统将能够识别更多的仪器，尽管它仍然可能无法处理仪器子类之间的微妙差异(例如中音萨克斯与男高音)。

以前分离声源的努力主要集中在音频上，这通常需要广泛的人类标签。相比之下，PixelPlayer引入了视觉元素，研究人员称其不需要人工标签，因为视觉提供了自我监督。

系统首先定位产生声音的图像区域，然后将输入声音分离为表示来自每个像素的声音的一组分量。

“我们期待一个最好的情况，我们可以识别出哪种乐器会发出哪种声音，”CSAIL的博士生赵说。“我们很惊讶我们实际上可以在像素级别空间定位仪器。能够做到这一点开辟了许多可能性，例如只需点击一下视频即可编辑单个乐器的音频。“

PixelPlayer使用“深度学习”方法，这意味着它使用已经在现有视频上训练的所谓“神经网络”在数据中找到模式。具体地，一个神经网络分析视频的视觉，一个分析音频，第三个“合成器”将特定的像素与特定的声波相关联以分离不同的声音。

PixelPlayer使用所谓的“自我监督”深度学习的事实意味着麻省理工学院的团队并没有明确地理解它如何学习哪些乐器制作哪种声音。

然而，赵说他可以说系统似乎认识到了音乐的实际元素。例如，某些谐波频率似乎与小提琴等乐器相关，而快速脉冲状模式则与木琴等乐器相对应。

赵说，像PixelPlayer这样的系统甚至可以用在机器人上，以更好地理解其他物体所产生的环境声音，例如动物或车辆。

他与麻省理工学院教授，​​电气工程和计算机科学系的Antonio Torralba以及脑与认知科学系的Josh McDermott以及研究助理Chuang Gan，本科生Andrew Rouditchenko和博士共同撰写了论文。毕业生Carl Vondrick。它最近被欧洲计算机视觉会议(ECCV)所接受，该会议将于今年9月在德国慕尼黑举行。