Big-Little Adaptive Neural Networks on Low-Power Near-Subthreshold Processors

要約

タイトル：Big-Little Adaptive Neural Networks on Low-Power Near-Subthreshold Processors
要約：この論文は、エッジAIアプリケーションで近接閾値プロセッサが得られるエネルギー削減を調査し、アプリケーションの精度を維持しながら改善する戦略を提案しています。選択されたプロセッサは、周波数と電圧レベルがランタイムで決定される適応型電圧スケーリング技術を採用しています。これらのシステムでは、埋め込みRAMメモリとフラッシュメモリのサイズは通常1メガバイト未満で、電力を節約するために制限されています。この制限されたメモリは、これらのデバイスにマッピングできるニューラルネットワークモデルの複雑さと、精度とバッテリー寿命の必要なトレードオフを課しています。これらの問題に対処するために、我々はバッテリー寿命を改善しつつ推論精度を維持する代替のビッグ・リトル・ニューラルネットワーク戦略を提案し、デモンストレータとして選択された人間の活動認識アプリケーションに適用します。ベストな構成は、元のネットワークと比較して、推論精度を維持しながら測定されたエネルギー削減率が80％になることを示します。

– 近接閾値プロセッサを使用することでエネルギー削減が可能なことが分かった。
– エネルギー削減を維持しながら精度を維持するためのビッグ・リトル・ニューラルネットワーク戦略が提案された。
– 人間の活動認識アプリケーションが、精度を維持しつつエネルギー削減率80％を達成することが示された。

要約(オリジナル)

This paper investigates the energy savings that near-subthreshold processors can obtain in edge AI applications and proposes strategies to improve them while maintaining the accuracy of the application. The selected processors deploy adaptive voltage scaling techniques in which the frequency and voltage levels of the processor core are determined at the run-time. In these systems, embedded RAM and flash memory size is typically limited to less than 1 megabyte to save power. This limited memory imposes restrictions on the complexity of the neural networks model that can be mapped to these devices and the required trade-offs between accuracy and battery life. To address these issues, we propose and evaluate alternative ‘big-little’ neural network strategies to improve battery life while maintaining prediction accuracy. The strategies are applied to a human activity recognition application selected as a demonstrator that shows that compared to the original network, the best configurations obtain an energy reduction measured at 80% while maintaining the original level of inference accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI