2023 英特尔On技术创新大会直播 | 边云协同加速 AI 解决方案商业化落地

前言

最近观看了英特尔On技术创新大会直播，学到了挺多知识，其中对英特尔高级首席 AI 工程张宇博士讲解的边云协同加速 AI 解决方案商业化落地特别感兴趣。张宇博士讲解了英特尔如何利用边云协调来加速AI解决方案的商业化落地以及对边缘人工智能发展趋势的判断以及在促进边缘人工智能落地方面在硬件、软件方面正在进行的创新。

边云协同时代背景

当今万物互联的时代，数字化的转型不断加速，采集的数据量不断增加，数据量的增加推动着计算模式的创新。我们可以利用互联网技术随时随地共享网上的计算资源、存储资源、应用资源，也有许多应用在服务我们的生活，张宇博士举例说在前不久的双十一在星通数据上颁布了一些统计结果，综合所有电商、直播平台，整个销售额已经超过11000亿元人民币，又创新高，这么大的销售额的背后是需要一个云计算平台支撑的。所以云计算技术极大的改善了我们的生活。

随着行业数字化转型，对于敏捷链接、实施应用、智能化以及数据的安全保护的诉求在不断增加，从而推动了边缘计算发展。计算的模式将在云计算和边缘计算之间，建立新的平衡。从用户体验来说，云边协同也将给用户提供更高的体验。对于边缘计算来说，他处理的是边缘局部的数据，并不能形成对于全局的认知。

张宇博士举例现在的智能交通，虽然现在的摄像头已经可以处理人、车、物等相关信息，能看到且分辨出来人的性别、车牌、车款、车的颜色，但是通过单一一个摄像头并不知道车是从哪里来，又从哪里去。并不能从单一一个摄像头的信息来了解整个车的轨迹。必须得通过云计算的信息在平台上的汇总，才能得到一个完整的轨迹信息，所以云边协同将是今后的主旋律。

边缘人工智能

如今行业信息需要更加智能化、 多样化的应用，这些都离不开网络。张宇博士说：如果以5G的无线接入为例的话，随着与无线接入网RAN相关的一些加速的功能被整合到了通用的处理器之上，已经可以实现5G vRAN的商业化和虚拟化。然而英特尔在2023年初就展示了基于第4代英特尔至强可扩展处理器的5G vRAN的解决方案，这种解决方案可以极大的帮助运营商降低运营成本。

人工智能的应用在不断的扩展，从最初的智能交通、智慧城市，如今已经进入到了零售、金融、医疗、教育等各行各业，并且人工智能的技术不仅仅发生在云端，同时已经越来越多走向了边缘。预计到2030年，全球的边缘市场的规模将达到4450亿美元，人工智能成为头号的工作负载。

我们都了解到人工智能在许多行业都已经落地，并在边缘开始逐渐普及。在当下边缘人工智能的绝大使用场景，需要利用数据中心极大的算力，以及大量的数据去训练一个网络模型，然后将训练的结果推送到边缘，去执行人工智能的推理工作。也可以说当下人工智能模式处于一个边缘推理的阶段。

但是这种会产生一个弊端，会限制人工智能模型的更新频率。张宇博士举例子说在自动驾驶领域，不同的路况、不同的驾驶行为，这些差异是很大的。这样会造成我们实际采集到的数据，跟我们车辆出场时去训练一个自动驾驶的判决模型所用到的训练的数据之间，实际上是有一定的差异，这样就造成训练之后的模型其泛化能力受到一定的限制。如果要得到准确的数据，就需要在现场采集到的数据根据真实驾驶员的驾驶行为，不断的训练自动驾驶的人工智能网络模型，这样效果会更佳，所以边缘人工智能发展的下一个阶段一定是边缘训练阶段。

边缘训练并不是把边缘数据中心已有的一些训练方法直接搬到边缘来执行。利用边缘去从事训练，需要解决一些特定的问题，需要有更加自动化的工具去完成从数据采集，到数据化自动化标注，到数据训练，以及训练完之后到推送，到相应的推理机制去执行推理操作。所以自动化的工具对完成边缘训练时至关重要的。

边缘挑战

张宇博士提到无论是在开发阶段还是运营阶段，都有很多的边缘挑战需要面对。部署一个大语言模型，比如AIGC的应用，不可能把这样的一个大的模型原封不动存储在边缘，一定要对这些模型针对特定行业的应用场景进行简化，来降低对存储和计算的要求，只有这样才可能部署在边缘。除此之外解决运营过程中，有关数据保护的问题。现在很多服务提供商已经在一个成熟的大语言模型，当成自己的一个无形的资产。当模型运行在数据中心，我们可以各种物理手段对它进行保护，限制访问权限，但是模型部署在边缘，远离服务提供商的时候，如何对它进行保护，这些问题都需要解决。

英特尔边云协同的创新成果

张宇博士在直播中列举了 英特尔在边云协同所做出的创新。英特尔采取同步发展通用的CPU处理器和通用的GPU处理器。在CPU处理器，不断增强英特尔至强可扩展处理器，从第4代英特尔至强可扩展处理器开始，增加高矩阵扩展技术（AMX技术）。当下的人工智能是以卷积神经网络为基础，而卷积神经网络之间的基本运算是矩阵之间的乘法运算。以往在通用处理器上去实现矩阵的乘法运算，是把它拆解成若干个向量运算，然后将向量运算的结果汇总起来，得到矩阵的乘法运算结果，需要进行多步操作。而英特尔的AMX技术可以直接对矩阵的乘法运算进行加速，从而减少处理步骤，提高了效率，对人工智能的推理以及训练都起到了很大支撑作用。

在安全方面，英特尔提供了QAT技术，可以在处理核心减少的情况下，将压缩的速度提高一倍。在数据的安全领域使用，提供了软件防护扩展技术（SGX技术），它可以将一些关键的数据和程式，提供一个安全空间，还能够提供一个很小的可信任边界。有了SGX技术支持，可以将边缘技术应用在金融、医疗等等对安全比较敏感的领域。

张宇博士在直播的最后提到了OpenVINO，它是英特尔给开发人员提供的一个方便处理边缘推理的工具套件，可以让开发人员在开放的人工智能框架上所设计和训练好的网络模型，利用OpenVINO把它下发到不同的硬件平台去执行推理操作。它可以帮助开发人员从模型的设计训练、模型优化以及模型部署一个完成的开发周期。

最后

看完学到了很多知识，感受颇深，边云协同的确是时代的趋势，将是未来几年的主旋律，而边缘人工智能发展的下一个阶段一定是边缘训练，科技进步带动各行业技术革新，期待英特尔未来更多的创新应用！