具有边缘智能的微型成像系统，适用于远程 AI 应用

远程边缘 AI 应用程序取决于嵌入式硬件设备的大小，这些硬件设备承载了在源头处理边缘数据的所有计算能力和功能。大型嵌入式人工智能加速器在空间受限的系统中面临一些挑战，例如突兀和隐蔽。

在题为《用于智能边缘监控的毫米级超低功耗成像系统》1的文章中，研究人员开发了一种微型毫米级成像系统，具有深度学习和图像处理能力，适用于边缘应用，特别是家庭监控场景。该系统使用垂直堆叠的超低功耗IC，并采用动态行为特定的电源管理、分层事件检测和数据压缩方法的组合。

对于毫米级系统，设计方法面临着技术挑战，例如设计面积高度受限的系统、能量预算和峰值功率的限制、有限的数据存储、昂贵的无线通信、毫米级镜头的非理想性以及超低功耗前端。

从毫米级尺寸系统开始，设计需要集成超低功耗IC远程应用，并组装它们以减少占位面积。为了给毫米级系统供电，设计单元需要一个小型电池来支持电源要求。由于系统空间受限，成像系统的片上和片外存储器数量有限，这限制了图像数据的存储和算法的复杂性。

为了解决设计毫米级成像系统时的这些技术难题，该团队参考了低功耗图像传感器、超低功耗处理器和混合信号视觉集成电路、低功耗无线通信、高效神经网络加速器以及优化边缘计算应用的机器学习算法方面的现有工作。

现有研究的局限性包括排除边缘计算或无法满足面积和功率需求。该研究论文提出，完全集成的毫米级成像系统是“同类中的第一个”。

图1：成像仪系统横截面

具有边缘智能的新型毫米级成像系统

该系统（见图1）尺寸仅为6.7×7×5mm，重量为460mg，采用150μm超低功耗集成电路，设计为垂直堆叠。垂直堆叠方法允许在更小的尺寸内互连更多的集成电路。这是与传统的平面2D芯片到芯片连接相比。

该系统由一个基础层组成，将多个功能硬件器件集成到单个IC芯片上，例如主控制器、电源管理单元和无线电IC。毫米级成像系统的核心是具有16kB SRAM的Arm Cortex-M0处理器内核。电源管理单元从单个电池源产生多个电压域，以在负载下保持高转换效率。

下一个重要层是超低功耗图像传感器和图像信号处理。图像传感器层支持运动触发的 12 位 VGA 图像捕获和子采样像素帧上的近像素运动检测，最大速率为每秒 170 帧，而图像信号处理执行动态 JPEG（反）压缩、光学-黑色像素校准、去拜耳化、RGB 到 YUV 转换和场景变化检测。该神经引擎提供 1.5 TOPs/W 的性能，可实现基于深度神经网络的帧分析。另一层包括超低漏电闪存、能量收集器、太阳能电池、可充电锂电池和聚四氟乙烯 （PTFE） 管。

系统集成使用两个4层10×10×0.8mm PCB，其中正面用于引线键合，而无源元件和太阳能电池层放置在背面。这种毫米级系统的代码开发具有挑战性，因此该团队在外轮辋上加入了卡斯拉通孔以暴露内部信号（见图2）。

图2：（从左到右）堆叠式IC，被测封装系统，PCB背面，独立的毫米级成像系统

对毫米级成像系统的修改

电源管理是能量最小化技术的关键要素，因为执行基于 DNN 的分析的始终在线图像传感器消耗巨大功耗。该过程需要计算能量和存储在片上和片外的兆字节 DNN 参数。

动态节能模式（如闪存 IC）在运动监控、图像捕获和基于 DNN 的场景分析期间设置为休眠模式，功耗仅为 0.003μW。电源管理单元根据每个节点进行调整，通过修改电流消耗、频率控制和上/下转换比来最大限度地提高动态负载的效率。另一方面，分层事件检测 （HED） 算法用于修剪掉不相关的事件，否则这些事件会消耗能量，尤其是在卸载数据而不确定其对应用程序的价值时。

结合权重修剪、非均匀量化、卷积层量化权重的霍夫曼编码以及其他几种方法，DNN 可实现高达 1.5 位/权重的压缩。对于图像压缩，JPEG和H.264压缩方法的组合用于减少数据占用空间并最大限度地降低无线传输成本。

H.264 帧内压缩引擎可将 VGA 帧的内存占用量减少 23 倍。但是，通过 H.264 压缩，系统需要的处理能量比 JPEG 多 138%。使用的其他方法是变化检测引擎，与VGA帧相比，可实现135倍的压缩，以及用于减少无线数据传输的系统外图像重建。对于毫米级镜头和超低功耗前端的图像校正，该团队提出了可以使用矩阵乘法和卷积等指令在ISP神经引擎（NE）上执行的图像校正层。

结论

该论文提出了一种新颖的毫米级成像系统，该系统集成了用于远程物联网和边缘应用的边缘智能，平均功耗为49.6μW，预期寿命为7天，无需充电。为了实现小尺寸，该系统使用超低功耗IC的垂直堆叠，并通过数据和能源管理方法管理存储器和能源预算限制。“在展示了一个微型物联网智能成像系统之后，通过社会技术和道德视角进行分析是必不可少的下一步;我们邀请未来在安全和隐私等主题上开展工作，“该团队总结道。

更多细节可在康奈尔大学的研究共享平台arXiv上根据开放获取条款发表的研究工作中找到。

参考文献

[1] Andrea Bejarano-Carbo， Hyochan An， Kyojin Choo， Shiyu Liu， Dennis Sylvester， David Blaauw， and Hun-Seok Kim.2022. 用于智能边缘监控的毫米级超低功耗成像系统.在 tinyML Research Symposium （tinyML Research Symposium'22） 的论文集中。ACM，美国纽约州纽约，7 页。

（编辑：天瑞地安资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!