永乐国际游戏大厅下载【中国】有限公司

Arm MCU在边缘AI落地的方法

栏目:行业资讯 发布时间:2019-09-25 作者: 鲁 冰 来源: EEPW
Arm MCU在边缘AI落地的方法

 

Arm MCU在边缘AI落地的方法

作者:鲁 冰时间:2019-09-25来源:电子产品世界收藏

  鲁 冰 (《电子产品世界》编辑)

本文引用地址:http://www.eepw.com.cn/article/201909/405225.htm

  (人工智能)在M级的便宜的小器件上能不能落地?它需要什么资源,性能又怎么样?不久前,Arm中国携手恩智浦半导体在全国进行了巡回讲演。Arm中国高级市场经理Eric Yang分享了的基础知识,分析认为边缘可以通过在MCU这样的小芯片上实现,并推介了Arm的软件中间件NN——可以有效地对接算法和具体芯片,最后列举出了的应用案例。

  1 边缘AI潜力巨大

  AI有没有前途?

  前两年AI非常火,AI公司支付的薪水很高。不过,2019年上半年以来,很多AI公司活得并不是很好。AI到底有没有机会?还需不需要关注?

  如果借鉴历史,大约在5亿年前是单细胞生物,之后生物学上出现了寒武纪大爆发,产生了大量的新生物,其中带智能的生物慢慢进化出来。

  现在从嵌入式或者产业角度来看,有点类似于寒武纪的前夕。如果从身边去观察,会发现无论是生活还是工作环境安装了很多传感器,而且传感器有越来越多的趋势。Arm的孙正义先生认为,现在还是百亿级、千亿级传感器的量,到2025年会有约1万亿的设备连上传感器,相当于2025年时到了寒武纪大爆发时期。

  不过,那么多传感器相连,如果都靠传统的计算方式,即完全是靠你的算法或控制去实现一些功能/性能的时候,是有很大的瓶颈的。所以大量传感器可能会采用AI技术,一部分AI在云端,更多的是在嵌入式端。

  2 AI中遇到的概念

  AI、机器学习(ML)、深度学习(DL),这些概念到底什么关系?

  AI是用机器来模拟人的思维习惯,让机器来达到人的决策的能力。要实现这一功能,就需要让机器做学习,这主要是通过概率论、统计论之类的方法,让机器找到算法,以实现机器能够学习这样的功能(如图1)。

微信截图_20191010094300.png

  实现机器学习里面有种方法叫深度学习。深度学习相当于你准备大量的数据,然后放到那个模型里边去,让它学会“感知+判断+思维”的能力。在深度学习下面,会有我们经常听到的算法,诸如、RNN等。

  3

  在机器学习方面有两个方面需要去理解:训练和推断。第一是若在云端,叫训练,云端需要有巨大的数据量做训练;第二是设备端。设备端主要是做推断,即把云端训练好的模型思维方式下载到设备端,设备端再根据获得的信号得出一个推断的结果。

  训练需要大量的数据,需要非常高的性能、大量的带宽去实现。所以一般要在服务器、GPU、加速卡上运行。

  在设备端,因为已经有现成的训练模型,所以只做判断/推断,相对来讲要考虑的地方较为简单,例如性能方面,中低端的性能就可实现;效率方面,包括成本效率、功耗效率;再有,因为设备端涉及到联网,还要有安全隐私的考虑。

  那么,哪些功能适合放在设备端或服务器端/云端?如图2,分别从AI的3个典型应用——视觉、音频以及健康管理来分析。图2左都是大型的机器学习,在服务器上面,图2右是设备端可以实现的应用与技术。

微信截图_20191010094323.png

  以视觉来看,首先,如果做具体物体的识别,例如,这是一条狗,这条是什么品种的狗,或者人脸识别,这种方式基本上放在服务器端。如果做类的识别,例如是狗、车还是飞机,这种识别就可以放在设备端了。CIFAR-10就是一种常用来做的标准模型。

  例如在音频方面,如果只是做一个关键字的识别,或简单的一个命令的识别,可以放在设备端;如果是做语义的识别(例如你讲一句话,让机器知道你的意思,回答你下一句话),通常放在云端/服务器端。

  同样,在健康管理方面,如果让手机、手环或智能手表做一个动作的识别,例如解释你是在走路、跑步还是蹲下,这可在设备端实现;如果要是做具体的疾病识别,要放在服务器端实现。

  在嵌入式系统里面,做ML要考虑哪些因素?列表如表1所示。

  首先在系统层,你要考虑到效率,因为嵌入式设备一般都会有成本的考虑,因为量非常大,布设的端点非常多。另外是功耗的考虑,有的设备涉及到电池供电。之后还有带宽,因为需要跟服务器/云去通讯。最后还需要考虑到隐私和加密。

  在AI部分,可能你要考虑到的你输入的种类、参数、转换的效率、你要得到结果的精度、你所选用的设备的算法,或者你要达到这样精度要消耗的内存资源。

  在ML部分经常听到一些算法,诸如、DNN、RNN、LSTN。这些算法对应的常用的应用场景,例如CNN适合视觉识别、图片识别,DNN比较适合语音识别。

  表2是Arm做的不同ML算法在不同的内存资源和CPU资源情况下得到的结果。

 

1570671873268176.png

1570671873824242.png

  可见准确度、消耗的资源跟你的系统呈对应关系。例如分散式CNN算法可以达到95%的准确度,最小的时候可能只占了不到40 kB内存,消耗的CPU运算能力只有5.4MOps,这相当于人们常见的M0嵌入式设备就能运行起来。可见,在Arm生态系统里,从M0到M7,都可以在这些芯片上面去实现ML功能(如图3)。这颠覆了人们以前的观念——一定要有很大的GPU、服务器、手机平台等去做。

  在硬件方面,Arm推动MCU芯片合作伙伴,加外设、加功能去做具体芯片出来。同样,在软件方面,Arm也提供了软件中间件,叫。

  4

  该软件中间件的一个出发点是全球比较大的一些公司,包括国内的百度、阿里等经常无偿地提供机器学习的算法,让免费使用,以在其服务器上得到接口。但落地时候怎么办?因为不同公司会提供不同种类的算法,如果你对每种算法都去做支持,整个开发维护的工作量会非常大的,尤其对于嵌入式设备的厂家更是如此。

微信截图_20191010094445.png

  Arm在中间做了一个标准化的接口优化。上面直接去对接算法,下面去对接具体的硬件。这就把AI机器学习当做是一个以前的通讯库,或者是API来用,就可以了。图4是具体应用的流程。

  在Cortex-M上来实现的软件库,是在2018年1月发布的,是开源的,你可以看到所有源代码,因此不会存在安全、自主可控的困惑。

  不仅如此,现在NN 还 针 对 大 核 , 例 如系列以及Mali GPU,也是开源的,于2018年年中发布。

  至此,可以运行在Arm所有CPU上。

  相比只从那些算法公司下载开源程序、把它移植到Arm CPU上去运行,分别对卷积、池化以及激活函数方面做对比,对比图如图5。可见在池化时,用CMSIS-NN,可以达到4.6倍性能的提升。

微信截图_20191010094507.png

  CMSIS-NN效率很高。恩智浦半导体做的一个在相同的硬件环境下,CMSIS-NN与的性能对比。采用的芯片分别是Cortex-M4和的 芯 片 , 在 做 C I F A R - 1 0 时 ,(注:提供的嵌入式版本的CNN模型)用约120 ms才能完成某个识别;只需要20 ms左右。

  CMSIS-NN一直在更新,基本上每个季度有优化版。

  5 用CMSIS-NN做ML的应用案例

微信截图_20191010094521.png

  第一个应用是CMSIS-NN如何与恩智浦半导体的AI平台——eIQ平台对接(如图6)。它是把算法集成好,对用户来讲,首先是找到一个事先做好的模型,选择是否也需要做压缩的算法。如果不做压缩,就把它做模型转换到Cortex-M系列里的语言里。只需要把传感器的信号输入,恩智浦的芯片(例如:i.MX RT)就会做出一个决策。

  实际上,用芯片做成的产品已有商用化的案例。美国的Amiko公司做的哮喘治疗器(如图7)采用ML算法来做监测、统计。它的原理比较简单,其中的传感器可以识别几个内容。第一,把设备从正常的状态颠倒过来,变成放到嘴里的状态。其次,它可以监测到吸入的流量大小。实现方法是:在云端做好了一个模型之后,它可以通过这模型来指导这个吸入哮喘剂是否正确,以及吸的量够不够。

Baidu
sogou