TinyTracker: Ultra-Fast and Ultra-Low-Power Edge Vision In-Sensor for Gaze Estimation

要約

インテリジェント エッジ ビジョン タスクは、一般にエッジ プラットフォームに課せられる計算負荷が大きいため、電力とレイテンシの効率を確保するという重大な課題に直面します。この取り組みでは、最初の「センサー内 AI」ビジョン プラットフォームの 1 つであるソニーの IMX500 を利用して、超高速なパフォーマンスを実現します。
高速かつ超低消費電力のエンドツーエンドのエッジ ビジョン アプリケーション。
ケーススタディとして視線推定を調査することで、IMX500 を評価し、Google Coral Dev Micro や Sony Spresense などの他のエッジ プラットフォームと比較します。
我々は、この研究で検討したエッジ ビジョン システムのパフォーマンスを最大化するように設計された 2D 視線推定用の高効率で完全に量子化されたモデルである TinyTracker を提案します。
TinyTracker は、視線推定精度 (完全に量子化された場合最大 0.16 cm) を大幅に損なうことなく、iTracker [1] と比較して 41 倍のサイズ削減 (600 Kb) を達成します。
Sony IMX500 ビジョン センサーに TinyTracker を導入すると、エンドツーエンドの遅延が約 19 ミリ秒になります。
カメラがピクセルを読み取り、処理し、アクセラレータに送信するのに約 17.9 ミリ秒かかります。
ネットワークの推論時間は 0.86 ミリ秒で、センサーから結果を取得するためにさらに 0.24 ミリ秒かかります。
エンドツーエンド システムの全体的なエネルギー消費量は、推論用の 0.06 mJ を含めて 4.9 mJ です。
エンドツーエンドの調査により、IMX500 は CoralMicro よりも 1.7 倍高速 (19 ミリ秒対 34.4 ミリ秒)、電力効率が 7 倍高い (4.9mJ 対 34.2mJ) ことが示されています。

要約(オリジナル)

Intelligent edge vision tasks encounter the critical challenge of ensuring power and latency efficiency due to the typically heavy computational load they impose on edge platforms.This work leverages one of the first ‘AI in sensor’ vision platforms, IMX500 by Sony, to achieve ultra-fast and ultra-low-power end-to-end edge vision applications. We evaluate the IMX500 and compare it to other edge platforms, such as the Google Coral Dev Micro and Sony Spresense, by exploring gaze estimation as a case study. We propose TinyTracker, a highly efficient, fully quantized model for 2D gaze estimation designed to maximize the performance of the edge vision systems considered in this study. TinyTracker achieves a 41x size reduction (600Kb) compared to iTracker [1] without significant loss in gaze estimation accuracy (maximum of 0.16 cm when fully quantized). TinyTracker’s deployment on the Sony IMX500 vision sensor results in end-to-end latency of around 19ms. The camera takes around 17.9ms to read, process and transmit the pixels to the accelerator. The inference time of the network is 0.86ms with an additional 0.24 ms for retrieving the results from the sensor. The overall energy consumption of the end-to-end system is 4.9 mJ, including 0.06 mJ for inference. The end-to-end study shows that IMX500 is 1.7x faster than CoralMicro (19ms vs 34.4ms) and 7x more power efficient (4.9mJ VS 34.2mJ)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google