你可能对DeepFakes很熟悉，它是一种经过数字化改造的"合成媒体" ，能够欺骗人们看到或听到从未真正发生过的事情。敌对的例子就像用于图像识别人工智能系统的DeepFakes -尽管它们对我们来说看起来甚至不那么奇怪，但它们能够骗过机器上的麻烦。

几年前，麻省理工学院(Massachusetts Institute of Technology)计算机科学和人工智能实验室(Computer Science and Artificial Intelligence Laboratory ， CSAIL)的研究人员发现，只要稍微改变物体的表面纹理，他们就能把复杂的图像识别算法愚弄成令人困惑的物体。这也不是什么小问题。

在研究人员的演示中，他们表明，有可能得到一个尖端的神经网络来观察3D打印的海龟，而不是看到来福枪。也有可能凝视一个棒球，得出它是一杯浓缩咖啡的结论。如果这种视觉失认症在人类身上表现出来，这将是一种神经案例研究，它将进入奥利弗·萨克斯(Oliver Sacks)的经典着作《把妻子当成帽子的男人》(The Man Who Stoke ' s Wife for a Hat)。

当涉及视觉人工智能系统如何看待世界时，敌对的例子代表了一个迷人的弱点。但正如你可能预期的那样，它们也代表了一个潜在的警告。研究人员一直在拼命寻找如何修补的方法。这个缺陷将新奇的玩具龟与来福枪混为一谈。

现在，麻省理工学院的另一群研究人员提出了一个新的系统，可以帮助躲避"敌对"输入。在这个过程中，他们设想了一个坦率地说可怕的敌对示例用例，如果黑客实施，这个用例可能会被用于致命的效果。

场景是这样的：自动驾驶汽车在感知周围的世界方面越来越好。但是，如果汽车中基于视觉输入的车载摄像头突然故意或意外地无法识别面前的东西，会怎么样？错误地将道路上的物体分类-例如未能正确识别和放置行人-可能会导致非常糟糕的结局。

抵御对抗性攻击

麻省理工学院航空航天系博士后研究员迈克尔 Everett告诉Digital Trends ： "我们的团队多年来一直在深度学习、机器人和控制理论的界面上工作，包括使用深度RL（强化学习）来训练机器人以社会意识的方式绕过行人。当我们正在考虑如何将这些想法引入更大和更快的车辆时，安全和鲁棒性问题成为最大的挑战。我们看到了一个从鲁棒控制和鲁棒优化的角度深入学习这个问题的巨大机会。 "

强化学习是一种基于测试和错误的机器学习方法，着名的是，研究人员一直在使用这种方法来让计算机学习玩电子游戏，而不是显式地学习如何。该团队新的强化学习和基于深度神经网络的算法被称为Carrl ，是深度强化学习的认证对手鲁棒性的缩写。本质上，它是一个神经网络，当涉及到它所看到的东西时，它有额外的怀疑。

在福特汽车支持的一个工作演示中，研究人员构建了一种能够玩经典雅达利游戏Pong的强化学习算法。但是，与以前的RL游戏玩家不同，在他们的版本中，他们使用了一种对抗性攻击，这种攻击使人工智能人员对游戏的球位置的评估脱离了，使其认为它比实际低了几个像素。通常，这将使人工智能玩家处于主要劣势，导致它反复输给计算机对手。然而，在这种情况下， RL代理考虑了球可能处于的所有位置，然后将桨叶放置在无论位置的变化都不会错过的地方。

"这一新类别的健壮深度学习算法对于将有希望的人工智能技术引入现实世界至关重要。 "

当然，正如Everett所承认的那样，游戏比现实世界要简单得多。

"现实世界比电子游戏有更多的不确定性，从不完美的传感器或敌对攻击，这足以欺骗深度学习系统做出危险的决定-（比如）在道路上喷绘一个点（这可能会导致自动驾驶汽车）转向另一条车道， "他解释说。 "我们的工作提出了一个深度RL算法，可以证明它对不完美的测量是健壮的。关键的创新是，我们的算法不是像今天这样盲目地相信它的测量，而是考虑所有可能已经做出的测量，并做出考虑最坏情况的结果的决定。 "

在另一个演示中，他们展示了该算法在模拟驾驶环境中可以避免碰撞，即使它的传感器受到希望该代理碰撞的对手的攻击。埃弗里特说： "这种新的鲁棒深度学习算法对于将有希望的人工智能技术引入现实世界至关重要。 "

还有更多的工作要做

这项工作还为时过早，还需要做更多的工作。还有一个潜在的问题，在某些情况下，这可能会导致人工智能代理行为过于保守，从而降低其效率。尽管如此，这是一项有价值的研究，可能会对未来产生深远的影响。

"（还有其他一些研究项目）专注于保护免受（某些类型的）对抗性例子的影响，神经网络的工作是对图像进行分类，而这要么是对的，要么是错的，故事就到此结束， "当被问及经典的海龟对枪问题时，埃弗里特说。 "我们的工作基于其中一些想法，但侧重于强化学习，代理人必须采取行动，如果效果好，就会得到一些奖励。因此，我们正在研究一个较长期的问题， "如果我说这是只乌龟，该决定的未来影响是什么？ "这就是我们的算法真正能帮助的地方。我们的算法将考虑选择海龟或枪的最坏情况下的未来影响，这可能是在人工智能代理人"决策具有长期影响时解决重要安全问题的重要一步。 "