A Blueprint for Precise and Fault-Tolerant Analog Neural Networks

要約

アナログ コンピューティングは、従来のデジタル アーキテクチャによってもたらされるエネルギー効率とスケーラビリティの課題を克服できる可能性があるため、ディープ ニューラル ネットワーク (DNN) を高速化するための有望な手段として再浮上しています。
ただし、高精度のデータコンバーターは高価で非現実的であるため、このようなテクノロジーを使用して高精度と DNN 精度を達成することは困難です。
この論文では、剰余番号システム (RNS) を使用してこの課題に取り組みます。
RNS を使用すると、複数の低精度演算から高精度演算を合成できるため、データ コンバーターの精度の制限によって生じる情報損失がなくなります。
私たちの研究では、RNS ベースのアプローチを利用したアナログ アクセラレータは、従来のアナログ アクセラレータではわずか $6$ ビットの精度しかないデータ コンバータを使用して、最先端の DNN 推論で FP32 の ${\geq}99\%$ の精度を達成できることを実証しました。
コアでは、同じ DNN で同じ精度を達成するには、$8$ ビット以上の精度が必要です。
精度要件の軽減は、RNS を使用すると、同じスループットと精度を維持しながら、アナログ アクセラレータのエネルギー消費を数桁削減できることを意味します。
私たちの研究では、このアプローチを DNN トレーニングに拡張し、FP32 精度に匹敵する精度を達成しながら、$7$ ビットの整数演算を使用して DNN を効率的にトレーニングできます。
最後に、アナログ アクセラレータに固有のノイズやエラーから計算を保護するために、冗長 RNS 誤り訂正コードを使用したフォールト トレラントなデータフローを紹介します。

要約(オリジナル)

Analog computing has reemerged as a promising avenue for accelerating deep neural networks (DNNs) due to its potential to overcome the energy efficiency and scalability challenges posed by traditional digital architectures. However, achieving high precision and DNN accuracy using such technologies is challenging, as high-precision data converters are costly and impractical. In this paper, we address this challenge by using the residue number system (RNS). RNS allows composing high-precision operations from multiple low-precision operations, thereby eliminating the information loss caused by the limited precision of the data converters. Our study demonstrates that analog accelerators utilizing the RNS-based approach can achieve ${\geq}99\%$ of FP32 accuracy for state-of-the-art DNN inference using data converters with only $6$-bit precision whereas a conventional analog core requires more than $8$-bit precision to achieve the same accuracy in the same DNNs. The reduced precision requirements imply that using RNS can reduce the energy consumption of analog accelerators by several orders of magnitude while maintaining the same throughput and precision. Our study extends this approach to DNN training, where we can efficiently train DNNs using $7$-bit integer arithmetic while achieving accuracy comparable to FP32 precision. Lastly, we present a fault-tolerant dataflow using redundant RNS error-correcting codes to protect the computation against noise and errors inherent within an analog accelerator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google