Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO

要約

スマートグラスは、最先端のコンピューティング技術、加速されたハードウェアアーキテクチャ、小さなAIアルゴリズムのおかげで、急速に高度な機能を獲得しています。小型のフォームファクターと限られたバッテリー容量を特徴とするスマートグラスにAIを統合することは、満足のいくユーザーエクスペリエンスのために1日中使用することを目標とする場合、依然として困難です。この論文では、スマートグラスでの長時間の連続動作を可能にする、新しい低消費電力プロセッサを利用した小さな機械学習アルゴリズムの設計と実装について説明します。リアルタイムの物体検出の場合、スマートグラスのエネルギー効率と待ち時間効率を探ります。この目標を達成するために、我々は、視覚AI用のハードウェアアクセラレータを備えた新しいミリワット消費電力のRISC-V並列プロセッサを含む2つのマイクロコントローラと、通信用のBluetooth低消費電力モジュールを備えた研究プラットフォームとして、スマートグラスのプロトタイプを設計した。このスマートグラスは、画像や音声のセンシング・インターフェースを含む電力循環メカニズムを統合している。さらに、TinyissimoYOLO v1.3、v5、v8と名付けられた、マイクロコントローラーベースの推論用にカスタマイズされた、YOLOに基づく新しい小さな深層学習モデルのファミリーを開発し、スマートグラスによる物体検出のエネルギーと待ち時間のベンチマークを目指した。スマートグラスのプロトタイプを用いた評価では、TinyissimoYOLOの推論レイテンシが17msであり、許容可能な検出精度を確保しつつ、推論あたりのエネルギー消費が1.59mJであることが実証された。さらに評価を進めると、画像キャプチャからアルゴリズム予測までのエンドツーエンドの待ち時間は56ms、つまり18fpsであり、総消費電力は62.9mWで、154mAhのバッテリーで9.3時間の連続稼働に相当することがわかった。この結果は、より単純なタスク（画像分類）をわずか毎秒7.3fpsで実行するMCUNet（TinyNAS+TinyEngine）を凌ぐ。

要約(オリジナル)

Smart glasses are rapidly gaining advanced functionality thanks to cutting-edge computing technologies, accelerated hardware architectures, and tiny AI algorithms. Integrating AI into smart glasses featuring a small form factor and limited battery capacity is still challenging when targeting full-day usage for a satisfactory user experience. This paper illustrates the design and implementation of tiny machine-learning algorithms exploiting novel low-power processors to enable prolonged continuous operation in smart glasses. We explore the energy- and latency-efficient of smart glasses in the case of real-time object detection. To this goal, we designed a smart glasses prototype as a research platform featuring two microcontrollers, including a novel milliwatt-power RISC-V parallel processor with a hardware accelerator for visual AI, and a Bluetooth low-power module for communication. The smart glasses integrate power cycling mechanisms, including image and audio sensing interfaces. Furthermore, we developed a family of novel tiny deep-learning models based on YOLO with sub-million parameters customized for microcontroller-based inference dubbed TinyissimoYOLO v1.3, v5, and v8, aiming at benchmarking object detection with smart glasses for energy and latency. Evaluations on the prototype of the smart glasses demonstrate TinyissimoYOLO’s 17ms inference latency and 1.59mJ energy consumption per inference while ensuring acceptable detection accuracy. Further evaluation reveals an end-to-end latency from image capturing to the algorithm’s prediction of 56ms or equivalently 18 fps, with a total power consumption of 62.9mW, equivalent to a 9.3 hours of continuous run time on a 154mAh battery. These results outperform MCUNet (TinyNAS+TinyEngine), which runs a simpler task (image classification) at just 7.3 fps per second.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL