NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes

要約

ディープ ニューラル ネットワーク (DNN) は機械学習において広く普及していますが、そのエネルギー消費は依然として注目すべき問題です。
電源電圧を下げることは、エネルギー消費を削減するための効果的な戦略です。
ただし、電源電圧を積極的にスケールダウンすると、モデル パラメーターが保存されているスタティック ランダム アクセス メモリ (SRAM) でのランダム ビット 反転により精度が低下する可能性があります。
この課題に対処するために、入力変換を学習してエラー耐性のあるデータ表現を生成することで、低電圧環境における精度とエネルギーのトレードオフに対処する新しいアドオン モジュールである NeuralFuse を導入します。
NeuralFuse は、公称電圧シナリオと低電圧シナリオの両方で DNN の精度を保護します。
さらに、NeuralFuse は実装が簡単で、構成不可能なハードウェアやクラウドベースの API へのリモート アクセスなど、アクセスが制限された DNN にもすぐに適用できます。
実験結果は、1% のビット エラー率で、NeuralFuse が SRAM メモリ アクセス エネルギーを最大 24% 削減し、精度を最大 57% 向上できることを示しています。
私たちの知る限り、これは低電圧に起因するビットエラーに対処するための最初のモデルに依存しないアプローチ (つまり、モデルの再トレーニングなし) です。
ソース コードは https://github.com/IBM/NeuralFuse で入手できます。

要約(オリジナル)

Deep neural networks (DNNs) have become ubiquitous in machine learning, but their energy consumption remains a notable issue. Lowering the supply voltage is an effective strategy for reducing energy consumption. However, aggressively scaling down the supply voltage can lead to accuracy degradation due to random bit flips in static random access memory (SRAM) where model parameters are stored. To address this challenge, we introduce NeuralFuse, a novel add-on module that addresses the accuracy-energy tradeoff in low-voltage regimes by learning input transformations to generate error-resistant data representations. NeuralFuse protects DNN accuracy in both nominal and low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be readily applied to DNNs with limited access, such as non-configurable hardware or remote access to cloud-based APIs. Experimental results demonstrate that, at a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to 24% while improving accuracy by up to 57%. To the best of our knowledge, this is the first model-agnostic approach (i.e., no model retraining) to address low-voltage-induced bit errors. The source code is available at https://github.com/IBM/NeuralFuse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google