Exploiting Neural-Network Statistics for Low-Power DNN Inference

要約

効率的な DNN 実行のために、特殊な計算ブロックが開発されました。
ただし、膨大な量のデータとパラメータの移動により、相互接続とオンチップ メモリが別のボトルネックを形成し、電力とパフォーマンスが損なわれます。
この研究では、オーバーヘッドのないコーディングとニューラル ネットワークのデータとパラメーターの統計分析を組み合わせたエッジ AI 推論エンジンの低電力技術に貢献することで、このボトルネックに対処しています。
当社のアプローチは、最先端のベンチマークで相互接続とメモリの消費電力を最大 80% 削減すると同時に、コンピューティング ブロックの電力消費を最大 39% 削減します。
これらの電力の向上は、精度を損なうことなく、ハードウェアのコストも無視できる程度に抑えられます。

要約(オリジナル)

Specialized compute blocks have been developed for efficient DNN execution. However, due to the vast amount of data and parameter movements, the interconnects and on-chip memories form another bottleneck, impairing power and performance. This work addresses this bottleneck by contributing a low-power technique for edge-AI inference engines that combines overhead-free coding with a statistical analysis of the data and parameters of neural networks. Our approach reduces the interconnect and memory power consumption by up to 80% for state-of-the-art benchmarks while providing additional power savings for the compute blocks by up to 39%. These power improvements are achieved with no loss of accuracy and negligible hardware cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google