Aleksander Madry建立值得信赖的人工智能
机器学习算法现在是我们使用的大部分软件的基础，有助于个性化我们的新闻源并在我们完成打字之前完成我们的想法。但随着人工智能进一步融入日常生活，人们的期望值已经上升。在自主系统充分获得信心之前，我们需要知道它们在大多数情况下都是可靠的并且可以承受外部干扰; 在工程方面，它们很强大。我们还需要理解他们的决定背后的原因; 他们是可以解释的。
麻省理工学院计算机科学副教授，计算机科学与人工智能实验室(CSAIL)值得信赖的人工智能倡议的主要成员亚历山大·马德里将AI与一把锋利的刀子进行了比较，这是一种社会必须使用的有用但潜在危险的工具。学会正确地训练。Madry最近在麻省理工学院关于强大，可解释人工智能的研讨会上发表演讲，该 研讨会由麻省理工学院的情报部门共同赞助 和CSAIL，并于11月20日在Singleton Auditorium举行。该研讨会旨在展示麻省理工学院在建立人工智能保障领域的新工作，人工智能本身几乎已成为机器学习的一个分支。六名教师谈到了他们的研究，40名学生展示了海报，而Madry以一个恰当的名为“ 健壮性和可解释性 ”的演讲开启了研讨会。“我们采访了Madry，这个新兴领域的领导者，关于活动期间提出的一些重要想法。
问： AI最近在深度学习方面取得了很大的进步，这是一个机器学习的一个分支，它大大提高了算法挑选文本，图像和声音模式的能力，为我们提供了Siri和Alexa等自动化助手。但是深度学习系统仍然以令人惊讶的方式受到攻击：当他们在现实世界中遇到稍微不熟悉的例子或者恶意攻击者为其提供微妙改变的图像时会遇到绊脚石。您和其他人如何努力使AI更加强大?
答：直到最近，人工智能研究人员才专注于获取机器学习算法来完成基本任务。实现均衡的平均绩效是一项重大挑战。现在性能已经提高，注意力已转移到下一个障碍：改善最坏情况的性能。 我的大部分研究都集中在迎接这一挑战。具体来说，我致力于开发下一代机器学习系统，该系统对于自动驾驶汽车和过滤恶意内容的软件等关键任务应用程序而言足够可靠和安全。 我们目前正在构建工具来训练对象识别系统，以识别场景或图片中发生的事情，即使已经操纵了模型中的图像。我们还在研究提供安全性和可靠性保证的系统的限制。我们可以将多少可靠性和安全性构建到机器学习模型中，以及我们需要牺牲哪些其他功能来实现目标?
我的同事 卢卡丹尼尔也发了言，正在研究这个问题的一个重要方面：开发一种方法来衡量在关键情况下深度学习系统的弹性。深度学习系统做出的决策会产生重大影响，因此最终用户必须能够测量每个模型输出的可靠性。使系统更健壮的另一种方法是在训练过程中。在她的演讲中，“ GAN和黑盒优化中的稳健性 ”， Stefanie Jegelka 展示了生成对抗网络(GAN)中的学习者如何能够承受对其输入的操纵，从而获得更好的表现。
问：支持深度学习的神经网络似乎几乎毫不费力地学习：为他们提供足够的数据，他们可以在许多任务中超越人类。然而，我们也看到他们很容易失败，至少有三起广为人知的自驾车撞车事故。人工智能在医疗保健方面的应用尚未达到相同的审查水平，但风险也同样高。 当人工智能系统缺乏稳健性时，大卫桑塔格将他的演讲集中在经常生死攸关的后果上。在对患者病历和其他观察数据进行AI培训时，有哪些危险信号?
答：这可以追溯到保证的性质以及我们在模型中构建的基本假设。我们经常假设我们的训练数据集代表了我们测试模型的真实数据 - 这种假设往往过于乐观。桑塔格给出了两个在训练过程中出现的有缺陷的假设的例子，这些假设可能导致AI给出错误的诊断或推荐有害的治疗方法。第一个重点是去年由美国国立卫生研究院发布的大量患者X射线数据库。预计该数据集将为肺病的自动诊断带来重大改进，直到怀疑的放射科医生 仔细观察并在扫描的诊断标签中发现了广泛的错误。在使用大量不正确的标签进行胸部扫描训练的AI将很难产生准确的诊断。
Sontag引用的第二个问题是，由于系统故障或医院和医疗保健提供者报告患者数据的方式发生变化，未能纠正数据中的差距和不规范。例如，重大灾难可能会限制急诊室患者可用的数据量。如果机器学习模型未能将这种转变考虑在内，那么它的预测将不会非常可靠。
问：您已经介绍了一些使AI更可靠和安全的技术。可解释性如何?是什么让神经网络如此难以解释，以及工程师如何开发出引人入胜的方式?
答：理解神经网络预测是众所周知的困难。每个预测都源于由数百到数千个单独节点做出的决策网络。我们正在尝试开发新方法，以使此过程更加透明。在计算机视觉领域，其中一位先驱是 The Quest的主管Antonio Torralba。在他的演讲中，他展示了在他的实验室中开发的一种新工具，该工具突出了神经网络在解释场景时所关注的特征。该工具可让您识别网络中的节点，这些节点负责从一组窗户或一组树木中识别门。可视化对象识别过程使软件开发人员能够更细致地了解网络的学习方式。
实现可解释性的另一种方法是精确定义使模型可理解的属性，然后训练模型以找到该类型的解决方案。 Tommi Jaakkola 在他的演讲中表达了“可解释性和功能透明度”，“这些模型可以被训练为线性或本地具有其他所需的品质，同时保持网络的整体灵活性。在解释物理现象时，需要在不同的分辨率水平上进行解释。当然，在机器学习系统中建立保证需要付出代价 - 这是贯穿所有会谈的主题。但这些保证是必要的，而且不是不可克服的。人类智慧的美妙之处在于，虽然我们无法完美地执行大多数任务，但就像机器一样，我们有能力和灵活性在各种环境中学习。
