【前沿技术杂谈：迁移学习】迁移学习是在航空业实现人工智能的最后一步吗？

机器学习模仿人类如何通过经验获取知识。然而，人类也可以在不同的任务之间转移知识。假设您知道如何弹吉他——学习如何弹奏班卓琴对您来说有多难？钢琴呢——你需要多少进一步的学习？

这种建立在以前经验之上的理论，而不是从头开始学习，是当今机器学习的一个热门话题。这种方法称为迁移学习。 正如Andrew NG在NIPS 2019教程中评论的那样：“在监督学习之后 - 迁移学习将成为ML商业成功的下一个驱动力”。

What is “transfer learning”? 什么是“迁移学习”？

迁移学习是一个令人兴奋的概念，它旨在重新发展机器学习模型需要从头开始重建的传统观念，即使新的案例研究只是一个特征（领域变量）分布变化。通过迁移学习，您不必一次又一次地训练模型，而是可以使用为一项任务获得的知识来解决相关任务。

数据科学中迁移学习背后的关键概念是深度学习模型。它们需要大量数据，如果你的模型也是受监督的，这意味着你需要大量的标记数据。参与机器学习项目的每个人都知道，标记数据样本非常繁琐且耗时。由于缺乏标记的训练数据，此过程会减慢您的模型开发团队的速度，甚至会阻止成功的机会。深度学习解决方案的另一个常见问题是，尽管最先进的算法具有很高的准确性，但它们依赖于非常具体的数据集，并且在实际操作场景中引入新的模式和案例时会遭受巨大的性能损失。

迁移学习并不是一个新概念，实际上可以追溯到NIPS 1995研讨会“学习学习：归纳系统中的知识巩固和转移”。除了用于改进深度学习模型外，迁移学习还用于构建和训练机器学习模型的新方法。

传统机器学习与迁移学习

航空业迁移学习的一个真实例子：预测跑道占用率

举例来说，我们在一个名为 Safeclouds.eu 的 H2020 项目中开发了一个机器学习模型。该模型试图准确预测距离跑道阈值 2NM 处的到达跑道占用时间 (AROT)：

1. 我们得到了一个庞大的数据集，该数据集由已知的 AROTs 标示，其中包含在特定机场（维也纳机场，LOWW）的特定跑道（R34）上的运行情况。数据集由不同的数据源（雷达轨迹、飞行计划、天气信息等）组成。
2. 我们利用这些数据训练了一个机器学习模型。该模型对属于该领域的未见数据点（即 LOWW 机场的 R34）进行了很好的泛化。我们将这项预测任务称为 T1。
3. 假设我们想将训练好的模型应用到另一个机场的另一条跑道上，例如巴塞罗那机场（LEBL）的 25R 跑道。让我们把这项新任务称为新领域中的 T2。
4. 从理论上讲，我们应该能够将经过训练的模型应用于 T1，但新的预测会观察到巨大的性能下降。这是机器学习中一个众所周知的问题：当域发生变化时，我们会向模型引入偏差。
5. 在这种情况下，我们也会注意到 T2 的数据比 T1 的数据少得多。在训练另一个模型时，我们没有足够的样本来在预测方面表现出色。
6. 因此，只剩下一种解决方案：应用迁移学习，使用 T2 可用的新数据“重新训练”我们的 T1 模型。

通过遵循这种方法，我们可以将我们的预测模型推广到全球每个机场！

迁移学习的挑战以及如何应对这些挑战

事实上，将预训练模型用于新任务/领域的想法并不那么容易应用。例如，如果两个域不同，它们可能具有不同的特征空间或不同的边缘分布。这意味着描述您的新研究案例的变量可能不同。

此外，当两个任务不同时，它们可能会呈现不同的标签空间或不同的条件分布。这可能意味着可能会出现新的、未见过的情况，并且您的模型可能会专注于检测不平衡的情况（例如很少发生的新情况）。

为了事先解决这些问题，我们需要回答一些问题：

1. 我们需要迁移什么？：我们需要确定模型知识的哪些方面与新案例研究相关。通常，这涉及评估源和目标的共同点。功能相同吗？目标变量是否处于相似分布？有新课程吗？
2. 什么时候迁移是安全的？ 在某些情况下，迁移学习不仅不可行，反而会使模型变得更糟（称为负迁移）。我们需要仔细评估这两种情况，并与这两种情况下的领域专家反复确认。
3. 我们应该如何转移？ 一旦我们确定了需要转移的内容以及它是否可行，我们就必须确定跨领域/跨任务转移知识的正确方法。了解哪些现有算法和技术适用是非常重要的。别担心，我们将在下一篇文章中介绍一些迁移学习算法。

结论和未来的帖子

迁移学习是迄今为止最有前途的机器学习主流产品推动者。该行业可能需要采用它，以便提供可以快速原型化的可靠解决方案。我个人认为这将成为未来某个关键的方法论。例如，近年来，用于计算机视觉或语音识别的预训练模型库已经出现（Google BERT、PyTorch 的 torchvision、Tensorflow 模型、fastAI 等）。

在以后的文章中，我们将介绍现有的迁移学习方法和算法，以及来自知名机器学习参与者的一些迁移学习的成功用例。敬请关注！