闪存模型(Flashing the Model):将转换后的模型移植到MCU的Flash上。这可以使用Simplicity Studio完成,它为芯科科技MCU的编程提供了一个用户友好的界面。
推理和优化:应用量化和剪枝等优化技术,以减小模型大小并提高性能。
运行推理:一旦模型部署完成,它可以在MCU上运行推理。这包括向模型中输入新数据并获得预测结果。
软件工具链:新的软件工具包旨在支持开发人员使用一些最流行的工具套件(如TinyML和TensorFlow)快速构建和部署人工智能和机器学习算法。AI/ML软件帮助设计人员创建新的应用程序。除了原生支持TensorFlow来为高效推理提供优化内核之外,芯科科技还与一些领先的AI/ML工具提供商(如SensiML和Edge Impulse)合作,以确保开发人员拥有端到端的工具链来简化机器学习模型的开发,这些模型针对无线应用的嵌入式部署进行了优化。通过将这一全新的AI/ML工具链与芯科科技的Simplicity Studio开发平台以及xG24、xG28和xG26系列SoC结合使用,开发人员可以创建能够从各种互联设备获取信息的应用,这些设备都可以相互通信,从而做出智能的、由机器学习驱动的决策。
芯科科技提供各种工具和资源来支持ML应用。以下是其中一些例子:
机器学习应用:芯科科技提供集成化的硬件、软件和开发工具,帮助客户快速创建适用于工业和商业应用场景的、安全的智能设备。开发平台支持嵌入式机器学习(TinyML)模型推理,由Tensorflow Lite for Microcontrollers(TFLM)框架支持。该存储库包含一组利用ML的嵌入式应用程序。
机器学习工具包(MLTK):这是一个带有命令行实用程序和脚本的Python软件包,可支持基于芯科科技的嵌入式平台开发的机器学习模型。它包括从命令行界面或Python脚本执行ML操作的各项功能,并可确定ML模型在嵌入式平台上的执行效率,以及使用谷歌Tensorflow训练ML模型。
参考数据集:MLTK附带参考模型使用的数据集。这些数据集可以在Github上找到。
音频特征生成器(Audio Feature Generator):芯科科技提供了与TensorFlow Lite模型一起使用的音频特征生成器。它根据sl_ml_audio_feature_generation_config.h中的配置去进行前端的初始化来生成功能,并以流模式来初始化和启动麦克风。https://docs.silabs.com/machine-learning/latest/machine-learning-tensorflow-lite-api/ml-audio-feature-generation
MLPerf Tiny Benchmark:MLPerf Tiny Benchmark是由一家开放工程联盟MLCommons设计的性能评估套件。它旨在衡量ML系统在推理方面的性能和能效,将训练好的ML模型应用于新数据。该基准是专门为低功耗的最小设备量身定制的,通常用于深度嵌入式应用,如物联网(IoT)或智能传感。
芯科科技参与了MLPerf Tiny基准测试,提交了展示机器学习工具包(MLTK)功能的解决方案。该工具包包括TinyML基准测试使用的几个模型,可在GitHub上获得,涵盖异常检测、图像分类、关键字识别和视觉唤醒词等应用程序。
与以前的版本相比,使用MLPerf Tiny v1.0的结果显示出了推理速度提高,以及代码规模和内存使用量的减少。例如,Plumerai的推理引擎表现出了显著的增强,包括支持时间序列神经网络,如基于LSTM的循环神经网络(RNN),这在运动传感器、健康传感器、语音和音频应用中很常见。
AI/ML合作伙伴
芯科科技与业界领先的供应商合作,包括Edge Impulse、SensiML、NeutonAI和Eta Compute等AutoML工具链和SaaS云伙伴建立了合作关系。此外,诸如Sensory和MicroAI等解决方案提供商,以及包括Capgemini和Jabil在内的设计合作伙伴都是该网络的一部分。这些联盟提供了可简化综合解决方案开发的平台,使初学者更容易接触到边缘的AI/ML。
TinyML在MCU上的优势:
· 成本低-MCU价格合理
· 绿色环保-能耗低
· 易于集成-可轻松将MCU集成到现有环境中
· 隐私与安全-在本地处理数据,无需联网传输
· 快速原型开发-快速开发概念验证解决方案
· 自主可靠-微型设备在任何环境下都能稳定运行
· 实时处理-将延迟降至最低
嵌入式开发应用流程
开发具有机器学习功能的应用需要两个不同的工作流程:
· 使用Simplicity Studio来创建无线应用的嵌入式应用开发工作流程。
· 创建将添加到嵌入式应用的机器学习功能的机器学习工作流程。
运动检测:在商业办公大楼里,许多灯都是由运动探测器控制的,该探测器监测占用情况,以确定灯是否应该打开或关闭。然而,当员工在办公桌前打字时,由于动作仅限于手和手指,因为运动传感器本身无法识别他们的存在,所以可能会出现自动关灯而无法为员工可提供照明。通过将音频传感器与运动探测器连接起来,额外的音频数据(如打字的声音)可以通过机器学习算法进行处理,从而使照明系统能够更明智地决定灯是应该打开还是关闭。
预测性维护:可使用芯科科技的EFR32 MCU来开发一个预测性维护系统。这需要使用连接的传感器来收集机器的振动和温度数据,同时训练一个模型来根据这些数据预测潜在的故障,然后将该模型部署在MCU上,实现对机器的实时监控和维护计划。
健康监测:使用EFM32 MCU构建可穿戴健康监测设备。使用传感器收集心率和体温等生命体征的数据。训练一个模型来检测数据中的异常。在MCU上部署该模型,帮助用户对健康情况提供实时分析了解。
智能农业:使用芯科科技的MCU开发智能灌溉系统。使用连接的传感器收集土壤湿度和天气数据。训练一个模型,以便根据这些数据来优化水的使用。将该模型部署在MCU上,控制灌溉系统,提高作物产量。
结论
MCU不再局限于简单任务,而是正成为实现AI的强大平台。通过探索面向AI优化的MCU,我们可以为电池供电的智能设备开辟新的潜在应用。无论是智能家居设备还是工业传感器,AI驱动的MCU正在重塑嵌入式系统的未来。