Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators

要約

ディープニューラルネットワーク（DNN）アクセラレータは、主流のハードウェアと比較して省電力の可能性があるため、近年大きな注目を集めています。DNNアクセラレータの低電圧動作は、さらなる消費電力の削減を可能にしますが、量子化された重みを格納するメモリにビットレベルの故障が発生します。さらに、DNNアクセラレータは、電圧コントローラや個々のビットに対する敵対的な攻撃に対して脆弱です。本論文では、ロバスト固定小数点量子化、ウェイトクリッピング、ランダムビットエラー学習（RandBET）または敵対的ビットエラー学習（AdvBET）を組み合わせることで、量子化DNNウェイトのランダムまたは敵対的ビットエラーに対する堅牢性が大幅に改善することを示す。これは、低電圧動作や低精度量子化のための高い省エネ効果だけでなく、DNNアクセラレータの安全性を向上させることにも繋がります。関連研究とは対照的に、本アプローチは動作電圧やアクセラレータの種類を問わず一般化されており、ハードウェアの変更は必要ありません。さらに、新しい敵対的ビットエラー攻撃を提示し、標的型および非標的型のビットレベル攻撃に対して堅牢性を得ることができました。テスト精度を0.8%/2%以上落とすことなく、CIFAR10において8/4ビット量子化で20%/30%の消費電力削減が可能です。320ビットまでの敵対的ビットエラーを許容することで、テスト誤差を90%以上（チャンスレベル）から26.22%に低減しています。

要約(オリジナル)

Deep neural network (DNN) accelerators received considerable attention in recent years due to the potential to save energy compared to mainstream hardware. Low-voltage operation of DNN accelerators allows to further reduce energy consumption, however, causes bit-level failures in the memory storing the quantized weights. Furthermore, DNN accelerators are vulnerable to adversarial attacks on voltage controllers or individual bits. In this paper, we show that a combination of robust fixed-point quantization, weight clipping, as well as random bit error training (RandBET) or adversarial bit error training (AdvBET) improves robustness against random or adversarial bit errors in quantized DNN weights significantly. This leads not only to high energy savings for low-voltage operation as well as low-precision quantization, but also improves security of DNN accelerators. In contrast to related work, our approach generalizes across operating voltages and accelerators and does not require hardware changes. Moreover, we present a novel adversarial bit error attack and are able to obtain robustness against both targeted and untargeted bit-level attacks. Without losing more than 0.8%/2% in test accuracy, we can reduce energy consumption on CIFAR10 by 20%/30% for 8/4-bit quantization. Allowing up to 320 adversarial bit errors, we reduce test error from above 90% (chance level) to 26.22%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL