麻省理工学院、斯坦福大学和宾夕法尼亚大学的研究人员设计了一种方法来预测安全关键机器学习系统的失灵率，并有效地确定其发生率。对于自动驾驶汽车、机器人手术、心脏起搏器以及直升机和飞机自主飞行系统等自动化技术，至关重要的机器学习系统做出决策。与帮助你写电子邮件或推荐歌曲的人工智能不同，安全隐患系统的故障可能导致严重受伤或死亡。这种机器学习系统的问题还可能造成SpaceX失去着陆台等费用高昂的事件。

研究人员表示，他们的神经桥梁取样方法为监管者、学者和行业专家提供了一个共同的参考，用于讨论在安全关键环境中部署复杂机器学习系统的相关风险。日前在arXiv上发表了一篇题为《评价安全隐患自主系统的神经桥梁取样》(Neural Bridge Sampling for Evaluation Safeitical Autonomy Systems)的论文，作者们在论文中坚称，他们的做法可以满足公众的权利，即知道一个系统已经受到严格测试，而且一个组织希望把人工智能模式像商业机密一样对待。事实上，一些人工智能初创公司和大型科技公司拒绝允许使用原始模型进行测试和核查，因为担心这种检查可能暴露专有信息。

“他们不想告诉你黑匣子里有什么东西，所以我们需要能从远处看到这些系统，而不对它们进行任何分析， ”联合首席作者马修·奥凯利(Matthew O ’ Kelly)在接受电话采访时说。"因此，我们所建议的方法的好处之一是，基本上有人可以向你提供对所产生的模型的仓促描述，给你一堆分布数据，然后从这些数据中提取，然后送回搜索空间和分数。他们不告诉你在推出时实际发生了什么" 。

奥凯莉说，安全隐患系统的失败率很低，可能难以计算，系统越好，就越难以估计。为了得出预测的失败率，采用了一种新的马尔科夫链Monte Carlo(MCMC)计划，以确定据认为靠近失败事件的分布区域。

"然后你继续这一进程，建立我们所称的通往失败地区的阶梯。联合首席作者阿曼•辛哈(Aman Sinha)表示，随着你不断挑战特斯拉自动驾驶算法或心脏起搏器算法，把它推向越来越糟糕的失败，你的处境越来越糟。

本文详述的神经桥梁取样方法借鉴了已有几十年历史的统计技术，以及奥凯莉和辛哈最近发表的部分著作，其中使用模拟测试框架来评价黑箱自动驾驶车辆系统。除了论文中对神经桥梁的贡献外，作者还主张继续推进具有隐私意识的科技，比如联合学习和差别隐私，并敦促更多研究人员和拥有技术知识的人加入监管对话，帮助推动政策制定。

奥凯利说， “我们希望看到更多由统计驱动、科学驱动的举措，比如自动驾驶汽车等方面的监管和政策。 ”“我们认为，正是这样一种新颖的技术，信息才需要从学术界迅速地流向向政府提供目标的企业，而这些企业将负责监管这些目标。 ”

在最近的其他一些至关重要的安全系统新闻中， 新冠肺炎大流行病期间，自主航运有所增加。上周，一组研究人员详细介绍了DuckieNet ，这是一种评估自主车辆和机器人系统的物理模型。同样在上周，医学专家推出了第一套用于报告医学临床试验中人工智能应用情况的标准。