机器学习基准比较能耗

从微型物联网 (IoT) 设备到大型数据中心，机器学习 (ML) 在许多应用中越来越受欢迎。出于各种原因（如实时在线的要求、必要的离线操作、节省电池电量目的，甚至是安全和隐私要求），在生成数据的边缘运行 ML 算法和处理数据是较为理想的方案。这些低功耗物联网设备可以是嵌入式微控制器、无线 SoC 或集成到传感器设备中的智能功能。

为了实现这一目标，半导体产品制造商需要体积小、低功耗的处理器或微控制器，以便高效运行必要的 ML 软件（有时会借助芯片内置的硬件加速功能）。评估特定设备的性能并不简单，因为它在 ML 应用中的效果比原始的数字运算更重要。

为了解决这一问题，开放式工程联盟 MLCommons™ 开发了三个基准套件，可比较不同供应商的 ML 产品。MLCommons 专注于协作开展工程工作，通过基准、指标、公共数据集和最佳实践使机器学习行业获益。

此类基准测试套件名为 MLPerf™，当将经训练的 ML 模型应用到新数据时，可在推理时测量 ML 系统的性能。此类基准测试还可选择性地测量用于完成推理任务的能耗。由于此类基准测试是开源且经过同行评审的，因此它们可对性能和能源效率进行客观、公正的测试。

在 MLCommons 提供的三个基准测试中，Silicon Labs 为 MLPerf Tiny 套件提交了解决方案。MLPerf Tiny 可针对低功耗的小型设备使用，此类设备通常用于物联网或智能传感等深度嵌入式应用。

基准测试 

MLCommons 最近进行了一轮 MLPerf Tiny 1.0 基准测试，对不同供应商提交的 16 个不同系统进行了分析。

客户通常不仅仅会关注这些超低功耗 ML 系统中的原始性能，他们还专注于功耗，并经常会将系统执行任务时的能耗作为最重要的指标，尤其是在打造电池供电应用的情况下。

在进行代表性测试时，基准测试对四种不同场景中的 ML 模型进行了测试（见表 1）：关键词识别、视觉唤醒词、图像分类和异常检测。每种场景都使用特定数据集和 ML 模型来模拟实际应用。基准测试套件旨在测试所用的硬件、软件和机器学习模型。在每种情况下，测试都会测量单个推理的延迟，以了解完成任务的速度是否迅速。 该测试还可测量所用的能耗。

Silicon Labs 系统进行了基准测试 

Silicon Labs 提交了 EFR32MG24 多协议无线片上系统 (SoC)，进行了基准测试。该 SoC 包括一个 Arm Cortex®-M33 内核（78 MHz，1.5 MB 闪存/ 256 kB RAM）和一个 Silicon Labs AI/ML 加速器子系统。它支持多种 2.4 GHz RF 协议，包括低功耗蓝牙 (BLE)、蓝牙网状网络、Matter、OpenThread 和 Zigbee。它非常适合网状物联网无线应用，如智能家居、照明和楼宇自动化。这个紧凑的开发平台为 AI/ML 开发提供了简单、省时的途径。

SoC 采用 TensorFlowLite for Microcontrollers 软件，该软件使得 ML 推理模型在小内存的微控制器和其他低功耗设备上运行成为可能。它使用来自 Silicon Labs Gecko 软件开发套件 (SDK) 中 CMSIS-NN 数据库的经优化神经网络内核。

结果 

MLPerfNX Tiny v1.0 基准测试结果表明，Silicon Labs EFR32MG24 平台的片上加速器具备出色的效率。推理计算的负担从主 CPU 中移除，使其能够执行其他任务，甚至可以处于睡眠模式，从而进一步节省功耗。

必须满足 AI/ML 增强型低功耗无线物联网解决方案日益增长的需求，使设备仅使用一个钮扣电池即可持续运行长达十年。与之前依托 Tiny v0.7 进行基准测试的其他 AI/ML 模型相比，最新结果表明速度提高了 1.5 至 2 倍，能耗降低了 40-80%。

随着 ML 越来越广泛地应用于嵌入式物联网应用中，这种以低功耗运行推理的能力至关重要，这将帮助产品设计人员在新的用例和不同的设备中应用 ML。