集成npu的恩智浦mcx n系列mcu在人脸识别中的应用

在人工智能和机器学习的推动下，边缘计算的需求正在逐渐增加。相关机构预测，全球被创建、采集和复制的数据将急剧扩张，至2025年达到175zb（泽字节）。为减轻数据在云端处理的负荷，越来越多的数据也将被置入边缘侧进行运算。作为电子设备的主控制芯片，mcu对于边缘计算设备的数据处理和决策能力提升有着重要作用，将在边缘ai的浪潮中迎来新的发展机遇，同时也面临着更多的挑战。

边缘ai浪潮来袭拓展mcu市场空间

物联网（iot）设备、工控、智能家居和智能穿戴等领域的需求，正在带动mcu市场的增长。从长期来看，在保证低功耗、强实时性的前提下，让mcu具备更强的边缘侧计算和智能决策能力成为了下游市场的期许。

在这个过程中，边缘ai成为智能设备发展的重点。边缘ai是在物理世界的设备中部署ai应用程序。之所以称其为“边缘ai”，是因为这种ai计算在靠近数据的位置完成。对比云端运算，边缘ai具备强实时性，数据处理不会因为长途通信而产生延迟，而是能更快响应终端用户的需求，同时也可保证数据的隐私和安全。对比传统边缘计算只能响应预先完成的程序输入这一特性，边缘ai又具备更强的灵活性，从而允许更多样的信号输入（包括文本、语音及多种声光信号等）和针对特定类型任务的智能解决方案。

边缘ai的以上特性，与mcu有着较强的契合度。一方面，mcu具备低功耗、低成本、实时性、开发周期短等特性，适合对成本和功耗敏感的边缘智能设备。另一方面，人工智能算法的融入也能补强mcu，使其兼顾更高性能的数据处理任务。因此，“mcu+边缘ai”正在图像监控、语音识别、健康状况监测等越来越多的领域得到应用。此外，在iot的基础之上，mcu和边缘ai的结合也将推动aiot（人工智能物联网）的发展，使各种设备能够更加智能地互联互通。数据机构mordor intelligence预测，边缘人工智能硬件市场在2024至2029年间将以19.85%的年复合增长率增长，2029年将达到75.2亿美元。

“未来的mcu将面向专业化、智能化方向发展。”北京奕斯伟计算技术股份有限公司首席市场官刘帅告诉《中国电子报》记者，“其中智能化体现在两方面，一是强化对ai算法和机器学习模型的支持，使得mcu拥有一定智能决策能力；二是性能提升，高端产品将采用多核设计以提升处理能力，满足高性能的需求。”

集成ai加速器强化mcu性能

边缘ai为mcu带来了诸多市场机遇，而想要满足智能设备在边缘侧进行人工智能的运算需求，强化mcu的ai性能是重中之重。

“面向边缘ai和端侧ai需求，mcu需要做出以下调整以增强ai计算能力。”兆易创新mcu事业部产品市场总监陈思伟表示，“一是集成ai加速器，如神经网络加速器或者专用的向量处理器，以加速ai推断和训练任务；二是优化能效比，在保持性能的同时降低功耗，延长设备续航时间；三是增强安全性，包括数据加密、安全引导和安全存储，以保护用户数据不受攻击；四是支持多模态感知；五是优化系统集成，提供更多的硬件接口和软件支持，使得开发人员能够更轻松地将ai功能集成到边缘设备中。”

在ai加速器方面，数字信号处理器（dsp）和神经网络处理器（npu）都成为在mcu中集成的重要加速组件，让mcu能够在边缘运行ai算法。具体而言，dsp更适合信号处理任务，包括音频、视频、通信等，而npu则更聚焦于高效处理大量的矩阵运算和并行计算任务。

为此，各大厂商积极布局。意法半导体于2023年推出stm32n6，采用arm cortex-m55内核，集成isp和npu以提供机器视觉处理能力和ai算法部署。恩智浦推出mcx n系列mcu，具有双核arm cortex-m33，并集成了eiq neutron npu，据了解，该npu可将机器学习推理性能提升约40倍。

作为大多数mcu内核的供应方，arm也在边缘侧npu上发力。4月，arm推出ethos-u85 npu，作为一款ai微加速器，其支持transformer架构和cnn（卷积神经网络），配合armv9 cortex-a cpu可提供4tops的端侧算力，助力ai推理。

arm ethos-u85 npu（图片来源：arm）

“许多不同的处理器都可以实现人工智能。ai可以在arm核中运行，也可以在npu、dsp当中，不同处理器将会运行不同算法，那么功耗也会不同。”恩智浦执行副总裁兼安全连接边缘业务总经理rafael sotomayor表示，“是否在arm核或者dsp中实现ai功能，这取决于工程团队的技术专长。我们使用npu来做，是因为（从我们的技术出发）速度更快，而且能耗更小。当然，如果客户对特定机器学习算法有要求，也可以继续使用dsp。”

实现性能功耗成本平衡构建平台化方案

尽管可以通过集成npu等ai加速器使mcu支持ai算法，但是高性能往往会带来更高的功耗。因此在提升性能的同时，也要保证mcu在功耗和成本等诸多要素之间达到平衡。这不仅考验mcu厂商的芯片设计能力，也对公司整体成本和功耗优化提出了更高要求。

使用自研npu成为厂商平衡成本与效能的选择之一。据悉，意法半导体所发布的stm32n6采用了自研的neural-art加速器，恩智浦mcx n系列所集成的eiq neutron npu同样为自研。这既有利于降低授权成本，也能保证在自身技术路径下对npu迭代节奏的合理把控。

eiq neutron神经处理单元框图（图片来源：恩智浦）

同时，内核架构的选项也在增加。当前在mcu市场中，除少部分8位mcu使用cisc架构，arm架构的cortex-m系列核由于功耗表现较好占据主流，而随着risc-v架构逐渐发展，这一新兴架构也逐渐获得厂商的青睐。据悉，adi推出的max78000/2在集成专用神经网络加速器的基础上，提供了arm核与risc-v核两种方案，可在本地以低功耗执行ai处理，最大程度地降低cnn运算的能耗和延迟。

刘帅向记者表示，采用risc-v架构能够为mcu厂商带来更多优势，一方面，risc-v内核灵活可裁剪，可根据具体应用需求进行定制；另一方面，由于risc-v架构更加简洁，功耗也更低。此外，相比arm架构，作为开源架构的risc-v也能降低授权费用和开发成本。

而站在客户的视角，除了需要mcu产品在高性能、低功耗、低成本等多方面达成平衡，也希望mcu厂商能够提供平台化的整套解决方案。

“过去客户的选择是自下而上的——先选择芯片，再思考需要何种软件、应用等。现在则是从应用层开始，自上而下到芯片，以获取技术支撑。”rafael sotomayor指出，“这些技术非常复杂，不仅涉及人工智能，还涉及信息安全、功能安全、视觉、音频等。因此，帮助客户简化技术的复杂性，成为厂商为客户提供产品和服务的核心价值。”今年4月，恩智浦宣布与英伟达合作，将英伟达tao工作组件集成在恩智浦eiq机器学习开发环境中，以便开发者加速开发，并部署经过训练的ai模型。

adi基于max78000/2，提供了开发工具max78000evkit#，以帮助开发者实现平稳的评估和开发体验。意法半导体同样推出云端开发者平台stm32cube.ai，支持使用者在云端对已有资源进行配置，进一步降低边缘人工智能技术开发的复杂度。

综合来看，面对边缘ai浪潮所带来的挑战，mcu厂商正在积极探索，并展示出多样化的发展路径。尽管架构及ai加速器等方案的“最优解”目前还未有定数，但是对于mcu而言，在保证低功耗和低成本等基本特性的前提下，不断提升计算能力和安全性能来适应越发复杂的边缘计算环境，已是大势所趋。

以上是网络信息转载，信息真实性自行斟酌。