资讯

首页>资讯>新基建风口,边缘AI是概念还是未来

新基建风口,边缘AI是概念还是未来

2021年12月06日

2020年开始,国家提出加快新基建进度,作为其中重要的一环:人工智能的体量将会进一步增长。当前技术结构下,人工智能(AI)的处理大多通过云中心完成。AI处理以深度学习模型训练为主,这需要大量的计算能力。而在过去几年里,计算的需求量增加了数十万倍,其中图形处理单元(GPU)分散了大部分计算压力。


1.jpg


AI推理是基于大量推理训练之后实现的,计算强度相对较低,对算力需求不大。过去,与训练一样,推理计算也主要在云中心进行。然而, AI应用的多样化,基于云的集中式训练和推理机制受到质疑。

 

什么是边缘AI?


边缘AI已将AI转移到真正需要的地方:设备中,而不是云中的服务器。

 

任何基于机器学习的解决方案,两个主要阶段是训练和推理,这是机器学习的基本原则。

 

2.jpg


第一阶段是训练,在这个阶段中,向机器提供大量的已知数据,让机器“明白”它应该做什么。利用这些数据,算法可以输出一个包含其学习结果的 "模型"。这个阶段需要很高的算力,通常由云计算完成。

 

训练阶段的 "已知数据 "被称为标记数据。这意味着每一个数据(声音、图像等)都有一个标签,描述它的含义。推理时将新数据中符合的内容挑出来,分门别类即可。

 

第二个阶段是推理,推理是将学到的模型与新数据结合起来,推断它应该识别什么。一旦训练完成,模型只需要小部分算力来执行推理阶段。因为推理只涉及少量新数据的计算,用于推理的模型也是 "固定 "的(不需要再持续训练),并针对目标环境进行了仔细的优化。

 

最终的结果是,它可以直接在嵌入式设备上运行:也就是边缘设备。这样可以为设备提供决策权,从而使其自主运作,这就是边缘AI

 

3 (1).jpg


为什么我们需要边缘AI?


今天的边缘AI侧重于将AI推理转移到边缘设备上,从而减少数据的上传与扩散。当然,将AI应用迁移到边缘设备的原因有很多,这取决于应用。在评估云计算和边缘计算时,必须考虑隐私、安全、成本、延时和带宽。随着越来越多的边缘计算芯片厂家提供了高算力的产品,也促进了边缘AI计算的发展。

 

联合学习和基于区块链的分散架构也是AI计算向边缘化过渡的一部分,有些训练也可能向边缘化发展。根据AI应用和设备类别,有几种硬件选择来执行边缘AI计算。这些选择包括CPU、GPU、ASIC、FPGA和SoC加速器。

 

边缘AI的硬件挑战:芯片


像许多新概念一样,边缘AI技术其实已经存在了一段时间:机器学习算法在计算机和智能手机中很常见,它们在这些设备中运行良好。

 

4.jpg


如今,人们将嵌入式设备与算法结合起来,形成一个很有意义的解决方案,这要归功于:为AI提供硬件加速的高算力模块(GPU和ASIC)。

 

通过算力模块,配合不断改进的AI模型,我们不仅可以在超级计算机中整合AI解决方案,还可以在汽车、智能手机、网页、Wi-Fi路由器,甚至家庭安全系统中整合AI。

 

如何将推理功能嵌入设备?


首先我们要选对适合的硬件,目前有三种硬件类型可以实现边缘AI的运行:

 

CPU:在智能手机和嵌入式设备上,任何最新的CPU都有能力处理。它可能不是边缘AI推理最快或最专业的解决方案,但它是最好实现的。

 

GPU:它们通常确实能提供高吞吐量,从而提供出色的推理频率和较低的延时。它还可以减少CPU的工作负荷,是目前比较主流的选择。

 

5.jpg


利用GPU的处理能力和并行化能力,AI就像一个有数百个神经元的虚拟大脑,它看起来非常复杂,但实际上是由大量的简单元素组成的。这正好与GPU的特性不谋而合,简单的独立操作被应用于屏幕上的每一个点。

 

大多数机器学习框架(TensorFlow、Caffe、AML等)都是为了适用现有的硬件,比如NVIDIA Jetson系列。

 

AI定制硬件:这是一个快速增长的类型,如谷歌之前发布的Edge TPU,英特尔、微软和亚马逊也在开发自己的解决方案。通过定制硬件为AI推理匹配最有效的解决方案,但昂贵的成本和设计压力则是当前的弊端。

 

选择边缘AI进行创新的5个理由


1)       离线可用性:这可能是最明显的理由。如果需要程序在任何条件的连接状态下都可用,那么AI推理必须放在本地设备上由于不稳定的远程数据连接,DDoS攻击,或者设备在地下室使用,连接就会中断!网络不稳定对于云方案是一个巨大的挑战。然而,如果本地设备可以自己处理数据,就不需要担心这些问题。


2)       降低云服务成本:云服务非常方便,具有高扩展性和可用性,但它也有比较显著和持续的成本。随着越来越多的人使用云计算,这种成本会增加。这些成本将持续到产品的整个生命周期。然而,如果可以采用本地设备进行AI推理,那么你就可以节约这部分成本。

 

3)       降低流量成本:带宽和移动流量的成本也很昂贵。对于视频监控推理而言,一个高清摄像头每天就能产生50G甚至更多的视频数据,一个项目可能有成百上千个摄像头,每天按T计算的云服务流量成本是笔不小的费用。而使用边缘AI推理,在本地设备上可以将体积庞大的视频文件转换为几kB的数据。比如道路监控,云计算需要将现场视频持续上传分析,而边缘设备只需要回传一句话:“这条路上现在没有人”。


6.jpg


4)       处理敏感信息:如果敏感信息可以在本地被收集和处理,我们还需要把信息发到几百公里外的云中心去么?虽然我们不应该担心云中心的数据安全问题,但本地处理确实能让人更放心。


5)       响应时间短:在本地收集和处理数据可以缩短响应时间,规避网络延迟的风险,从而改善用户体验,只要设备能足够快地处理数据。比如工业制造时,需要毫秒级的推理判断,来决定是否紧急停止生产线来避免事故的发生。

 

边缘AI带来新的机会

边缘AI的高可用性、数据安全性、降低延迟和成本,都是未来AI系统的关键优势。无论是公司还是个人,现在都是采取行动的好时机,越来越多的科技公司开始布局边缘计算。

 

虽然有些人认为它还不成熟,但该技术正在融合发展,不断进行实验和概念验证,在全球范围内提高竞争优势。

 

随着国家对新基建的推动, AI和IoT(物联网)的指数级增长,边缘AI的时代即将到来。