Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale

要約

ニューラル ネットワーク (NN) における不確実性の推定は、特に安全性が重要なアプリケーションにおいて、予測の信頼性と信頼性を向上させるために不可欠です。
近似値としてドロップアウトを使用するベイジアン ニューラル ネットワーク (BayNN) は、不確実性を定量化する体系的なアプローチを提供しますが、本質的に電力、メモリ、計算の点でハードウェアのオーバーヘッドが高くなります。
したがって、リソースが限られているエッジ デバイスや高性能アプリケーションに BayNN を適用することは困難です。
BayNN に固有のコストの一部は、スピントロニクス メモリを備えた Computation-In-Memory (CIM) アーキテクチャ上のハードウェアで高速化し、パラメータを 2 値化することで削減できます。
ただし、従来のドロップアウトベースの BayNN を実装するには、多数の確率ユニットが必要です。
この論文では、バイナリ ニューラル ネットワーク (BNN) 用の新しい正則化手法であるスケール ドロップアウトと、効率的な不確実性推定のためのモンテカルロ スケール ドロップアウト (MC スケール ドロップアウト) ベースの BayNN を提案します。
私たちのアプローチでは、モデルのサイズに関係なく、モデル全体で確率ユニットが 1 つだけ必要なため、拡張性の高いベイジアン NN が得られます。
さらに、提案されている BayNN 用の新しいスピントロニクス メモリベースの CIM アーキテクチャを導入し、最先端のものと比較して 100 倍以上のエネルギー節約を実現します。
関連研究と比較して、予測パフォーマンスが最大 $1\%$ 向上し、不確実性の推定が優れていることを示す方法を検証しました。

要約(オリジナル)

Uncertainty estimation in Neural Networks (NNs) is vital in improving reliability and confidence in predictions, particularly in safety-critical applications. Bayesian Neural Networks (BayNNs) with Dropout as an approximation offer a systematic approach to quantifying uncertainty, but they inherently suffer from high hardware overhead in terms of power, memory, and computation. Thus, the applicability of BayNNs to edge devices with limited resources or to high-performance applications is challenging. Some of the inherent costs of BayNNs can be reduced by accelerating them in hardware on a Computation-In-Memory (CIM) architecture with spintronic memories and binarizing their parameters. However, numerous stochastic units are required to implement conventional dropout-based BayNN. In this paper, we propose the Scale Dropout, a novel regularization technique for Binary Neural Networks (BNNs), and Monte Carlo-Scale Dropout (MC-Scale Dropout)-based BayNNs for efficient uncertainty estimation. Our approach requires only one stochastic unit for the entire model, irrespective of the model size, leading to a highly scalable Bayesian NN. Furthermore, we introduce a novel Spintronic memory-based CIM architecture for the proposed BayNN that achieves more than $100\times$ energy savings compared to the state-of-the-art. We validated our method to show up to a $1\%$ improvement in predictive performance and superior uncertainty estimates compared to related works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google