Tiny Machine Learning and On-Device Inference: A Survey

这篇文献提出核心关注点、出发点是传输延迟使得传统物联网方法的应用变得不切实际，因此需要使用tinyml和设备端推理的解决方案。因为上云推理会产生延迟，这种延迟虽然本地推理也存在，但是设备限制是共有的，而传输至互联网会额外产生延迟，产生这种延迟的原因主要是带宽的限制，无法做到实时应用。（汽车的智能驾驶的延迟至关重要）

tinyml的出现使得ml任务能够在尺寸有限和内存有限的硬件上运行，从根本上改变了边缘计算的方法。

1. tinyml通过减少对外部通信的依赖，为机器学习服务提供了近乎零延迟的，这在安全关键系统中是一个关键优势。
2. tinyml还可以解决数据隐私和安全方面的担忧，因为推理是在设备内部而非云服务器上进行的。
3. tinyml解决方案的实施需要仔细考虑硬件限制，因为典型的微控单元具有有限的时钟频率和内存大小。
4. tinyml模型的选择基于所需任务和可用硬件。设备有足够的内存来运行模型，处理经由传感器产生的输入输出的数据。
5. tinyml的用例在低资源环境中变得更有价值，因为在这些环境中，对传统物联网网络的访问受限。

传统物联网架构严重依赖多层方法进行数据处理和推理。使用分层结构，包括感知层、网络/传输层、中间件/处理层和应用层。这种架构依赖层之间的数据移动，传感器数据从边缘设备通过网络节点传输，最终到达云服务器进行处理。虽然这种方法提供了显著的计算资源，单固有的延迟和带宽限制，可能影响实时应用。同时，云端传输会导致数据暴露在公众视野之中，存在安全问题。
边缘推理可以在设备上执行，也可以在外部服务器上执行，或者两者结合。设备端推理的安全性最高，但是无法部署大规模的模型，存在计算瓶颈。在外部服务器上运行，虽然极大缓解了计算的压力，但是在带宽和延迟上产生了更多的问题。在传感器和模型的特征提取放在边缘设备上，模型放置在云端，这被称为协同处理。这样既保证了隐私与安全性，又获取了更大模型的能力。
tinyml的核心技术在，知识蒸馏、剪枝、量化。运行的硬件在MCU上，并辅以加速器来协助机器学习推理。使用这项技术，受到时钟频率、闪存、sram的限制。ARM Cortex-M系列处理器已成为部署的核心，cortex-m4因为出色表现而成为热门选项。谷歌边缘tpu等硬件平台以及专用神经处理单元（npu）被用于执行矩阵乘法和其它常见ml操作，效率远高于mcu。
微型机器学习常见的评估指标有，模型精度、推理延迟、内存利用率和功耗。

从综述中看到可能对我会有所帮助的文献：

1. Fedorov, I.; Stamenovic, M.; Jensen, C.; Yang, L.-C.; Mandell, A.; Gan, Y.; Mattina, M.; Whatmough, P.N. TinyLSTMs: Efficientneural speech enhancement for hearing aids. In Proceedings of the Annual Conference of the International Speech CommunicationAssociation, INTERSPEECH, 2020, Shanghai, China, 25–29 October 2020.
2. Du, P.; Polonelli, T.; Magno, M.; Cheng, Z. Towards lightweight deep neural network for smart agriculture on embedded systems.In Proceedings of the 2022 IEEE Sensors Applications Symposium, SAS 2022—Proceedings, Sundsvall, Sweden, 1–3 August 2022;Institute of Electrical and Electronics Engineers Inc.: New York, NY, USA, 2022.
3. Falaschetti, L.; Manoni, L.; Rivera, R.C.F.; Pau, D.; Romanazzi, G.; Silvestroni, O.; Tomaselli, V.; Turchetti, C. A Low-Cost,Low-Power and Real-Time Image Detector for Grape Leaf Esca Disease Based on a Compressed CNN. IEEE J. Emerg. Sel. Top.Circuits Syst. 2021, 11, 468–481.
4. Bruno, C.; Licciardello, A.; Nastasi, G.A.M.; Passaniti, F.; Brigante, C.; Sudano, F.; Faulisi, A.; Alessi, E. Embedded ArtificialIntelligence Approach for Gas Recognition in Smart Agriculture Applications Using Low Cost MOX Gas Sensors. In Proceedingsof the 2021 Smart Systems Integration, SSI 2021, Grenoble, France, 27–29 April 2021; Institute of Electrical and ElectronicsEngineers Inc.: New York, NY, USA, 2021.
5. Andrade, P.; Silva, T.; Signoretti, G.; Silva, M.; Dias, J.; Marques, L.; Costa, D.G. An unsupervised TinyML approach applied forpavement anomalies detection under the internet of intelligent vehicles. In Proceedings of the 2021 IEEE International Workshopon Metrology for Industry 4.0 and IoT, MetroInd 4.0 and IoT 2021—Proceedings, Rome, Italy, 7–9 June 2021; Institute of Electricaland Electronics Engineers Inc.: New York, NY, USA, 2021; pp. 642–647.
6. Hayajneh, A.M.; Aldalahmeh, S.A.; Alasali, F.; Al-Obiedollah, H.; Zaidi, S.A.; McLernon, D. Tiny machine learning on the edge: Aframework for transfer learning empowered unmanned aerial vehicle assisted smart farming. IET Smart Cities 2024, 6, 10–26.

读文献的过程中我看到作者一直在强调延迟和安全，在选择文献的过程中还以是否上云和边缘推理为主导为依据去排除文献，可见这两者是tinyml的核心。在文献最后提及在偏远地域，tinyml为边缘计算提供实施环境，我的理解是tinyml设备的低功耗和本地推理，使得即使在弱电、弱网环境也可以稳定使用，这是很大的优势。