技术阐明了处理语言的人工智能系统的内部工作原理

通过分析大量训练数据来学习执行计算任务的神经网络，已经成为人工智能最令人印象深刻的最新进展，包括语音识别和自动翻译系统。

然而，在训练期间，神经网络不断地以其创作者无法解释的方式调整其内部设置。最近的许多计算机科学的工作重点是聪明的技术用于确定只是如何神经网络做他们做什么。

在最近的几篇论文中，来自麻省理工学院计算机科学与人工智能实验室(CSAIL)和卡塔尔计算研究所的研究人员使用了最近开发的解释技术，该技术已应用于其他领域，用于分析经过机器翻译和语音培训的神经网络。承认。

他们找到了关于网络可能如何运作的一些常见直觉的经验支持。例如，在转向更高级别的任务(例如转录或语义解释)之前，系统似乎专注于较低级别的任务，例如声音识别或词性识别。

“在机器翻译中，历史上，有一种不同层次的金字塔，”CSAIL高级研究科学家吉姆·格拉斯说，他与麻省理工学院电子工程和计算机科学研究生Yonatan Belinkov一起完成了这个项目。“在最低层，有一个词，表面形成，金字塔的顶部是某种语际表达，你有不同的层，你在做语法，语义。这是一个非常抽象的概念，但想法是你在金字塔中走得越高，翻译成新语言就越容易，然后再次下降。因此，Yonatan正在做的一部分是试图弄清楚这个概念的哪些方面正在网络中被编码。“

最近在国际自然语言处理联合会议上的两篇论文中介绍了机器翻译的工作。一方面，Belinkov是第一作者，Glass是高级作者，另一方面，Belinkov是合着者。两者都是卡塔尔计算研究所(QCRI)的研究人员，包括LluísMàrquez，Hassan Sajjad，Nadir Durrani，Fahim Dalvi和Stephan Vogel。Belinkov和Glass是分析语音识别系统的唯一作者，Belinkov上周在神经信息处理研讨会上发表了这一论文。

神经网之所以如此命名是因为它们大致接近人脑的结构。通常，它们被排列成层，每层由许多简单的处理单元组成 - 节点 - 每个节点连接到上下层中的几个节点。数据被送入最低层，最低层的节点处理它并将其传递给下一层。层之间的连接具有不同的“权重”，其确定任何一个节点的输出在下一个节点执行的计算中的数量。

在训练期间，不断重新调整节点之间的权重。在网络训练之后，其创建者可以确定所有连接的权重，但是数千甚至数百万个节点，以及它们之间甚至更多的连接，推断这些权重编码的算法几乎是不可能的。

麻省理工学院和QCRI研究人员的技术包括采用训练有素的网络并使用每个层的输出，以响应个别训练样例，训练另一个神经网络执行特定任务。这使他们能够确定每个图层的优化任务。

在语音识别网络的情况下，Belinkov和Glass使用单个层的输出来训练系统以识别“电话”，特定于口语的独特语音单元。例如，“茶”，“树”和“但是”这两个词中的“t”听起来可能被归类为单独的电话，但语音识别系统必须使用字母“t”来转录它们。事实上，Belinkov和Glass发现，较低级别的网络在识别手机方面比在较高级别上更好，其中可能的区别不那么重要。

同样，在去年夏天在计算语言学协会年会上发表的早期论文中，Glass，Belinkov和他们的QCRI同事表明，较低级别的机器翻译网络特别擅长识别词性和形态。 - 时态，数字和共轭等功能。