博世SoundSee将深度学习与移动麦克风阵列相结合，在问题发生之前识别国际空间站上的问题。

我们都在电影中看到过这个时刻--比如说在潜水艇或宇宙飞船上，轮机长会突然竖起耳朵听背景嗡嗡声，说“有什么不对劲”。博世希望教计算机在现实生活中如何做到这一点，并正在前往国际空间站测试其技术。
 
考虑到通过非语言声音交流的数据量，人类在利用声音信息方面做得非常糟糕。我们非常擅长在相对较短的时间尺度上对声音(特别是新的或响亮的声音)做出反应，但除此之外，我们的大脑很擅长将大多数正在进行的声音归类为“背景”并忽略它们。拥有我们通常缺乏的耐心的计算机，似乎在这方面会做得更好，但大多数开发人员的重点一直是离散的声音事件(如智能家居设备检测烟雾报警器或打碎玻璃)，而不是长期的声音模式。
 
为什么我们这些不是电影角色的人要关心声音的模式如何随着时间的推移而变化呢？原因很简单，因为我们的日常生活中充满了机器，这些机器既制造了大量的噪音，又往往会时不时地出现昂贵的故障。现在，我正在听我的洗衣机，它发出一些奇怪的声音。我不太清楚那些奇怪的声音是否是正常的奇怪的声音，更重要的是，我有一个更糟糕的想法，那就是它是否会在我上次运行它时发出同样的奇怪的声音。知道一台机器是否发出比过去更奇怪的噪音，可能会让我发现一个正在出现的问题，这个问题我可以通过廉价的预防性维护来解决，而不是以后昂贵的维修。
 
几乎可以肯定的是，德国博世公司(Bosch)制造了你的汽车以及家电、电动工具、工业系统和一大堆其他产品中相当大比例的零部件，该公司正在努力研究如何利用深度学习来识别和跟踪机器随着时间推移而产生的噪音。这个想法是为了能够识别声音中的细微变化，以便在问题发生之前对其发出警告。有一群人在得到问题的提前警告时非常感兴趣，那就是漂浮在生命的轨道气泡中的宇航员，也就是国际空间站。

SoundSee定向麦克风阵列是博世为NASA的Astrobee人工智能机器人提供的有效载荷，我们已经对其进行了广泛的介绍。就在上个月，Astrobee在国际空间站上进行了第一次自动飞行，在机器人完成检查和校准后，SoundSee将入住Astrobee的一个模块化有效载荷舱。一旦安装，它将执行各种任务，既可以在Astrobee进行业务时被动录制音频，也可以录制特定系统的目标音频。

“这些微妙的、长期的模式和变化可以为我们提供令人惊讶的丰富的关于系统退化的信息。”

SoundSee的首要任务之一将是对国际空间站进行声强测量，这是一项相当枯燥的工作，目前宇航员每隔几个月就要花费大约两个小时的时间手工完成。理想情况下，SoundSee和Astrobee将能够自动执行此任务。但更有趣的任务(特别是对于地球应用)将是设备的声学监测，聆听环境控制和生命支持系统(ECLSS)和具有振动隔离和稳定功能的跑步机(TVIS)等系统发出的噪音。
 
SoundSee用其麦克风阵列录制的音频将被送回博世，那里的研究人员将使用深度音频分析来过滤背景噪音以及机器人本身的噪音，目标是能够分离出特定系统发出的声音。博世希望，通过使用在地球上同等系统上训练的深度学习算法，SoundSee将能够提供该系统如何运作的一种“内部快照”。或者视情况而定，不起作用，有足够的时间让宇航员进行修复。
 
博世首席研究员兼SoundSee项目负责人萨姆·达斯(Sam Das)解释道：“我们正在研究非监督异常检测算法，我们有一些基于深度学习的方法，可以检测机器运行特性的逐渐或突然变化。”他说，SoundSee不能预测一切，但“这将是一道防线，追踪正常动力学模型的缓慢偏离，并告诉我们，‘嘿，你应该去看看这个。’”这可能是一个错误的警报，但是我们的系统会被训练来监听可疑的行为。这些微妙的，长期的模式和变化可以为我们提供令人惊讶的丰富的关于系统退化的信息。这是我们的最终目标，我们将能够在任何其他传感能力之前识别这些东西。“。
 
Das说你可以把SoundSee想象成类似于训练一个基于视觉的系统来分析一个人走路。首先，你要训练系统正常的行走步态是什么样子的。然后，你要训练这个系统，让它能够识别某人摔倒的时间。最终，系统将能够识别绊倒，然后是肌肉抽筋，最终目标将是一个系统，它可以说，‘看起来你的一块肌肉可能刚刚开始抽筋，最好放松！’

之所以将SoundSee系统安装在移动机器人上，而不是使用分布式固定麦克风阵列，是为了能够将定位信息与音频数据结合起来，DAS表示，这提供了更多有用的数据。“移动平台意味着您可以本地化声源。现在，我们可以融合我们在不同时间点获得的音频信息，沿着运动轨迹聚合这些信息，然后通过创建环境的声音图进一步实现这一点。“。
 
这个概念也延伸到地球上的操作，Das认为SoundSee技术的第一个潜在应用之一是充满移动机器人的仓库环境。“这项实验的许多功能可以立即应用于制造车间或仓库，在那里你可以让地面机器人四处移动--考虑为每台机器部署SoundSee，你就会有一个虚拟检查器来监控物理基础设施。”
 
从长远来看，这类技术的去向是显而易见的，特别是来自世界上最大的汽车零部件供应商博世(Bosch)。在您的汽车中安装一个类似SoundSee的系统，该系统已经针对正常操作声音的算法进行了培训，将能够预测维护需求并准确识别新出现的机械问题，几乎可以肯定的是，在您听到这些问题之前，并且很可能是在您有任何其他方式知道之前。
 
“声音可以给你更多关于环境的信息，”Das说。“从你家里的HVAC系统到你车里的引擎，机器的运行状态和功能健康状况可以通过音频模式显示出来。”我们所要做的就是倾听。