无人机，特别是四架飞机，是一个适应性强的地段。 它们被用来评估灾难后的损失，在对地面救援人员来说太危险的地区运送绳索和救生衣，调查着火的建筑物并运送医疗标本。但要充分发挥他们的潜力，他们必须强硬。 在现实世界中，无人机被迫在倒塌的建筑物中导航不确定的形状，避免障碍和处理具有挑战性的条件，包括风暴和地震..

在USCViterbi工程学院的计算机科学系，研究人员创造了人工智能无人机，可以在被推、踢或碰撞物体时快速恢复。 自主无人机“学会”如何从模拟过程中向它抛出的一系列具有挑战性的情况中恢复过来。该研究的主要作者、博士Artem Molchanov说：“目前，用于稳定四架飞机的控制器需要仔细调整，即使如此，它们在对干扰的鲁棒性方面也是有限的，而且是特定于模型的。” D.计算机科学候选人在USC的机器人系统嵌入式实验室。

“我们正在努力消除这个问题，并提出了一种利用强化学习的最新进展的方法，这样我们就可以完全消除手动调整控制器，并使无人机对干扰具有超强的鲁棒性。”

在智能机器人和系统国际会议上介绍了这份题为“Sim-to-(Multi)-Real：将低水平鲁棒控制政策转移到多个四驱器”的文件。合著者是USC计算机科学硕士学生陶晨；WolfgangHonig，前USC计算机科学博士。 D.学生；JamesA.Preiss，计算机科学博士。 D.学生；NoraAyanian，USC计算机科学助理教授，Andrew和ErnaViterbi早期职业主席；GauravSukhatme，计算机科学与电气和计算机工程教授，USCViterbi执行副院长。

学会飞翔

多年来，机器人一直转向鸟类寻求飞行灵感。 但是无人机还有很长的路要走，才能像羽毛一样敏捷。 当一架无人机最终以一种不受欢迎的方向，如倒置，它可能很难纠正自己。 “无人机本质上是一个不稳定的系统，”Molchanov说。

“控制无人机需要很高的精度。 特别是当突然发生某种事情时，你需要一个快速而精确的控制输入序列。” 但是，如果无人机能够像人类一样从经验中学习，它将更有能力克服这些挑战。有了这一点，USC研究团队创建了一个系统，它使用一种机器学习，一种人工智能的子集，称为强化学习，在模拟的环境中训练无人机。 更准确地说，训练无人机的“大脑”或神经网络控制器。Molchanov说：“强化学习受到生物学的启发，这与你训练一只狗完成一个指令时如何得到奖励非常相似。”

当然，无人机不会得到零食。 但是在强化学习的过程中，他们确实得到了一个算法奖励：一个数学强化信号，它是用来推断哪些行为最可取的正强化。

模拟学习

无人机在模拟模式下启动。 起初，它对这个世界一无所知，也不知道它试图实现什么，Molchanov说。 它试图在地面上跳一点或旋转。最终，它学会飞行一点，并接收正增强信号。 渐渐地，通过这个过程，它明白了如何平衡自己，最终飞翔。 然后，事情变得更加复杂。

当还在模拟中时，研究人员向控制器抛出随机条件，直到它学会成功地处理它们。 它们在输入中添加噪声来模拟真实感传感器。 它们改变电机的大小和强度，并从不同的角度推动无人机。

在24小时的过程中，该系统处理250小时的真实世界培训。 就像训练车轮一样，在模拟模式下学习可以让无人机在安全的环境中自主学习，然后才能被释放到野外。 最终，它找到了解决其所面临的每一项挑战的办法。Molchanov说：“在模拟中，我们可以运行数十万种场景。“我们一直在稍微改变模拟器，这使得无人机能够学会适应所有可能的环境缺陷。”

现实世界的挑战

为了证明他们的方法，研究人员将经过训练的控制器移到了阿亚尼亚的团队自动协调实验室开发的真正的无人机上。 在一个网状的室内无人机设施中，他们驾驶无人机，试图通过踢和推它们来把它们扔掉。无人机在90%的时间里成功地纠正了自己的中等命中（包括推、轻踢和与物体碰撞）。 一旦在一台机器上训练，控制器就能够快速地推广到不同尺寸、重量和尺寸的四架飞机。

虽然研究人员在本研究中专注于鲁棒性，但他们惊讶地发现，该系统也在轨迹跟踪方面进行了竞争-从A点移动到B点到C点。虽然没有为此目的专门训练，但严格的模拟训练似乎也使控制器能够精确地跟踪移动目标。

研究人员注意到还有工作要做。 在这个实验中，他们手动调整了无人机上的一些参数，例如限制最大推力，但下一步是使无人机完全独立。 这项实验是一个很有希望的步骤，可以建立坚固的无人机，可以调整自己，并从经验中学习。Molchanov的顾问、Fletcher Jones基金会授予的计算机科学主席Sukhatme教授说，这项研究解决了机器人学中的两个重要问题：健壮性和泛化性。

从安全的角度来看，健壮性是非常重要的。 如果你正在建立一个飞行控制系统，它不可能是脆弱的，一旦出了问题就会崩溃。“另一个重要的问题是概括。 有时你可能会建立一个非常安全的系统，但它将是非常专业的。 本研究表明，这是一个成熟和成功的博士。 D.学生能够取得成就，我为阿特姆和他组建的团队感到骄傲。”