自动驾驶汽车、医学图像分析和其他计算机视觉应用背后的人工智能依赖于所谓的深度神经网络。

这些系统以大脑为原型，由多层相互关联的"神经元"数学功能组成，根据输入数据的特点发送和接收"火灾"的信息。第一层处理图像中像像素这样的原始数据输入，将信息传输到下一层，触发其中一些神经元，然后将信号传输到更高的层，直至最终确定输入图像中的内容。

杜克大学(Duke)计算机科学教授辛西娅•鲁丁(Cynthia Rudin)表示，问题在于此。“比如，我们可以输入一个医学图像，观察另一个结局（‘这是一幅恶性损伤的图像’ ，但很难知道两者之间发生了什么。 ”）

这就是所谓的"黑匣子"问题。这个大男子主义网络隐藏的布局往往让人不知所措，就连制作它的人也是如此。

杜克大学鲁丁实验室的博士生陈志说， “深度学习模式的问题在于，它们非常复杂，我们实际上不知道它们在学习什么。 ”"他们往往能够利用我们不希望他们获得的信息。他们的推理过程可能完全错误" 。

陆克文(Rudin)、陈士争(Chen)和杜克大学(Duke)的义杰比(Yijie Bei)都想办法解决这个问题。通过修改预测背后的推理过程，研究人员可以更好地解决网络问题或了解它们是否值得信任。

大多数方法都试图发现导致计算机视觉系统在事后得到正确答案的原因，方法是指出识别图像的关键特征或像素： "胸部X光的生长被归类为恶性，因为模型认为，这些领域对肺癌的分类至关重要" 。这种方法并不透露该网络的推理，就像它在哪里。

杜克队尝试了一种不同的策略。他们的方法不是试图在临时的基础上对一个网络的决策负责，而是培训该网络，通过在整个过程中表达对概念的理解来显示其工作。他们的方法是揭示网络在多大程度上提醒人们注意不同的概念，以帮助解析网络所看到的东西。鲁丁说， “它从不同的概念如何在网络的各个层面上得到体现的角度出发。 ”

例如，考虑到图书馆的形象，这种方法可以确定神经网络的不同层次是否以及在多大程度上依赖他们对"书籍"的心理表现来识别现场。

研究人员发现，只要对神经网络稍作调整，图像中的物体和场景就可以像最初的网络一样准确地识别出来，但在网络的推理过程中却能获得大量的解释。“技术很简单， ”鲁丁说。

该方法控制着信息通过网络流动的方式。它涉及用一个新的部分取代神经网络的一个标准部分。新的部分只限制网络中的一个神经元对人类理解的特定概念开火。这些概念可以是日常物品的类别，如"书籍"或"自行车" 。但它们也可以是一般特征，如"金属" 、 "木材" 、 "冷"或"热" 。每次只有一个神经元控制着一个概念的信息，就更容易理解该网络是如何"思考"的。

研究人员在一个神经网络上尝试了自己的方法，该网络由数以百万计的标签图像组成，目的是识别各种室内和室外场景，从教室、食品场到游乐场和露台。然后，他们把它转到以前从未见过的图像上。他们还希望了解网络层次在处理数据时利用最多的是哪些概念。

陈士争拿出了一个情节，展示了他们把橙色日落的照片输入电视网时发生的事情。他们训练有素的神经网络表示，日落图像中的温暖色彩，比如橙色，往往与网络早期层次的“床”概念有关。简言之，该网络在早期高度激活"床神经元" 。随着图像逐层移动，网络逐渐依赖于对每个概念更复杂的心理表述， "飞机"概念比床概念更活跃，也许是因为"飞机"更经常与天空和云层联系在一起。

当然，这只是正在发生的事情的一小部分。但从这一轨道上，研究人员能够掌握该网络思想列车的重要方面。

研究人员表示，他们的模块可以连接到任何识别图像的神经网络中。在一项实验中，他们将其与一个神经网络联系起来，该网络接受过在照片中检测皮肤癌的培训。

在人工智能学会发现黑色素瘤之前，它必须通过筛选数以千计被皮肤癌专家贴上标签和标记的训练图像，了解黑色素瘤与正常模具和皮肤上其他良性部位有何不同。

但该网络似乎是在没有训练标签帮助的情况下，自行提出了一个"非正常边界"的概念。为人工智能应用中使用的图像进行注释的人没有注意到这一特征，但机器注意到了。

“我们的方法揭示了数据集的一个缺陷， ”鲁丁说。也许，如果他们将这一信息纳入数据，就会更清楚地说明模型的推理是否正确。鲁丁说， “这个例子只是说明了为什么我们不应该盲目相信“黑匣子”模型，不知道里面发生了什么，特别是复杂的医疗诊断。 ”

该团队的工作出现在12月7日的《自然机器情报》(Nature Machine Intelligence)杂志上。