不知不觉「软件包大赏」栏目已经到了第三期，本期我们精选了一个神经网络相关的软件包——Neural Network on Microcontroller (NNoM)，贡献者是一位在英国读博的学生，社区里的人亲切的称他为阿嘉。下面我们就来听贡献者聊聊这个有趣的软件包吧
软件包贡献者：麻建嘉 英国拉夫堡大学在读博士
我叫麻建嘉，可能大家比较习惯叫我“阿嘉”，目前是英国拉夫堡大学在读博士，研究方向是运动传感器的精确评估老年人的运动情况，目前正在准备毕业。
我接触RT-Thread 比很多人要早。记得是在2010年，我还在读大一，一心想做飞控的我刚从C8051F转向STM32。从某论坛认识了RT-Thread这个国产RTOS系统。那时的RTT还是在0.3版，但在我印象中，它内核已经跟现在差不多了。于是当时的我就挑选了这个“国产”系统作为我RTOS的入门，本来想着“国产”能有多一些中文资料，结果大家都知道的，RT-Thread连注释都是纯英文的，当时只有一本至今未写完的《编程手册》。后来就一直边打游戏边学RT-Thread，不知不觉本科毕业，基于RT-Thread的飞控拿了毕设一等，附带一个RT-Thread做的MP3，啃datasheet啃过了四级，C语言也一万行入了门。这一切多亏了RT-Thread，也是因为了熊大和各位大佬的坚持。现在RT-Thread有了广泛的应用，有了完善的文档和教程，还有了众多合作伙伴，我倍感欣慰。
我自认为是学术派的代表，没有工程经验，做东西不求稳定，但求好玩。做NNoM（Neural Network on Microcontroller）这个库，一半原因是与我研究方向的需求相关，而另一半是兴趣所驱。我需要一个能测量老人“什么时候”做了“什么运动”的传感器。“什么时候”很好解决，至于识别“什么运动”，一直以来我们只能在电脑上做机器学习或者传统分类法去识别。按新出的“Edge AI”的概念，传感器除了能够测量，还必须能够识别自己测量的是什么东西。它需要依靠自己的能力去消化原始数据，而不是将一大堆原始数据丢给云计算。神经网络分类器是一个效果很好的动作识别工具，缺点是计算量太大。就算在学术界都很少有人把它直接放到MCU上跑，工程上可能更少。通常认为MCU资源太少，性能太弱跑不了神经网络。但是我不这么认为，我觉得性能低的MCU自然有计算量少一些的神经网络与之相配，小模型不过是准确率低一些。而且，2014年之后的神经网络的发展方向更多的是往模型的结构优化上做文章，同时还更注重效能上的优化而不是识别精度。于是性能弱鸡的MCU有了发挥的空间。2018年12月，搜了一圈后（并没有合适的），我决定还是自己写一个,也是为了让MCU这个真正的edge设备也神经一把。
NNoM使用方法
在RTT上实现的一个简单示例运行结果
NNoMNNoM (Neural Network on Microcontroller)
1. 简介NNoM是一个专门为了神经网络在 MCU 上运行的框架。 NNoM 是一个定点神经网络库， 现在支持 8-bit定点格式。 当前 NNoM 支持数十种操作，卷积，池化，激活，矩阵计算等等。 此外还提供多种在线评估方法，包括时间统计，内存统计，Top-K 准确度，Confusion Matrix 等等。
它拥有以下优点：
快速开发： 电脑上训练的 Keras 模型直接转换成 C 文件。
默认纯C后端： 移植和使用畅通无阻，支持32/64bit，MCU/PC。
支持复杂结构： 支持多种复杂的网络模型结构。
完善的文档： 拥有 API 文档，入门指南，优化指南。
入门简单： 多个从简单到复杂的例子，完全开源。
MCU 上的神经网络能做什么？
语音关键词识别 （KeyWord Spotting）
使用运动传感器识别活动状态 （Human Activity Recognition）
神经网络控制系统 （替代PID等传统控制方法）
图像处理 （带专用加速器的 MCU）
为什么需要 NNoM ？
2014年后的网络，更高效，也更复杂。
CMSIS-NN 之类的库太底层，需要设置的参数众多，不够灵活，只能应用在比较传统的单路径网络上。 而新的网络倾向于从结构上做优化，不可避免地需要在结构上做设计和优化。 复杂的网络结构导致非常难以使用传统的底层库进行部署。 最初，NNoM 在 CMSIS-NN 上封装了一层结构层专门用于处理复杂的网络路径并且简化了参数计算。 后来 NNoM 有了自己的脚本可以一键生成相应的 C 文件，更进一步提升了使用性。 新的纯 C 后端也使得使用 NNoM 后，网络的部署几乎没有平台的限制。
1.1 目录结构
1nnom2├───docs3│ ├───figures // 文档图片4│ └───*.md // 文档5├───examples // 例子6├───inc // 头文件7├───port // 移植文件8├───scripts // 脚本工具，模型转换工具9├───src // 源代码10│ LICENSE // 软件包许可证11│ README.md // 软件包简介12└───SConscript // 构建脚本在线文档 /
1.2 许可证
NNoM 使用 LGPL-3.0 许可证，详见LICENSE文件。
1.3 依赖
RT-Thread 3.0+
2. 获取软件包
1RT-Thread online packages --->2 miscellaneous packages --->3 [*] NNoM: A Higher-level Nerual Network ... --->推荐选择 latest 版本。
退出 menuconfig 后，需要使用pkgs --update命令下载软件包。
3. 使用软件包
从[例子] 开始，例子从浅到深，适合直接硬干的玩家。
从[在线文档]开始，适合规规矩矩的大佬。
3.1 背景知识
Python 3 环境，推荐 Anaconda
神经网络和机器学习的基本知识
在 MCU 上做神经网络需要使用者具备一些简单的机器学习的概念，比如卷积层，全连接层， 和 Keras 或是其他工具的初步技巧。
NNoM 可以使用自带的 python 脚本很好地配合 Keras 来部署神经网络到 MCU。所以推荐使用 Keras 来学习。
如果你对机器学习和神经网络完全陌生也没有关系，Keras 号称30秒入门。
3.2 例子
/examples下有几个不同的例子。
[mnist-simple] 手写数字识别 (超级简单，Msh 交互)
[uci-inception] 使用6轴运动传感器进行人体运动识别(Inception 结构， CMSIS-NN加速，使用Y-modem发送测试数据，支持 Msh命令行交互)
[mnist-densenet] 手写数字识别 (DenseNet 结构)
更多例子正在路上...
关键词识别例子(KeyWord Spotting)
3.3 优化
NNoM 默认使用纯 C 后端， 同时支持 CMSIS-NN/DSP 后端。选择 CMSIS 后端后，会有5倍左右的性能提升.
开启优化的方式可以查看 Porting and optimising Guide
感谢 Wearable Bio-Robotics Group (WBR), Loughborough University
项目地址：
在RT-Thread上实现的一个简单示例：
/
（请将以上链接复制至外部浏览器打开）
贡献软件包还有奖励可以领哦~
1、贡献突出者年底将可以参与评选RT-Thread年度社区杰出贡献奖！
2、参与贡献软件包者，可以获得我们官方1v1的支持
3、软件包贡献数量达到3个及3个以上将可以获得——熊大亲笔签名版赠书
阅读原文可获取软件包贡献指南
软件包交流群：606118001
需要支持可联系小师妹，微信：RT-Thread2006
REVIEW
往期精彩
云绅智能与RT-Thread签署战略合作协议， 在智能终端开发领域全面合作
RT-Thread启动嵌入式软件人才计划及开发者能力认证4月20日郑州站RT-Thread线下培训报名
4月13日成都站RT-Thread线下培训报名
Seeed Studio联合NXP和RT-Thread发布ARCH MIX开发板
官方新书《嵌入式实时操作系统——RT-Thread设计与实现》上市，各大网络平台热销中RT-Thread
让物联网终端的开发变得简单、快速，芯片的价值得到最大化发挥。Apache2.0协议，可免费在商业产品中使用，不需要公布源码，无潜在商业风险。
长按二维码，关注我们
点击“阅读原文”查看应用实例！
喜欢就点击“在看”吧
