DSLOT-NN: Digit-Serial Left-to-Right Neural Network Accelerator

要約

我々は、ディープ ニューラル ネットワーク (DNN) における畳み込み演算の推論を高速化することを目的として、DSLOT-NN と呼ばれる Digit-Serial Left-tO-righT (DSLOT) 算術ベースの処理技術を提案します。
提案された作業には、非効率な畳み込みを評価して終了する機能があり、その結果、電力とエネルギーが大幅に節約されます。
処理エンジンは、データを左から右に処理する低レイテンシの最上位桁優先 (MSDF) (オンラインとも呼ばれる) 乗算器と加算器で構成されており、数字パイプライン方式で後続の演算を実行できます。
オンライン演算子を使用すると、最大の重み値を持つ出力が最初に生成され、最初の非ゼロ桁が生成されるとすぐに結果の符号を識別できるため、負のアクティベーションを識別する複雑なメカニズムを開発する必要がなくなります。
オンライン オペレーターの精度は実行時に調整できるため、電力とエネルギーの節約のために精度が犠牲になる可能性がある状況で非常に役立ちます。
提案されたデザインはザイリンクス Virtex-7 FPGA に実装されており、さまざまなパフォーマンス メトリックに関して最先端のストライプと比較されています。
結果は、提案された設計が省電力を実現し、サイクル時間が短くなり、ワット当たりの OPS が約 50% 高いことを示しています。

要約(オリジナル)

We propose a Digit-Serial Left-tO-righT (DSLOT) arithmetic based processing technique called DSLOT-NN with aim to accelerate inference of the convolution operation in the deep neural networks (DNNs). The proposed work has the ability to assess and terminate the ineffective convolutions which results in massive power and energy savings. The processing engine is comprised of low-latency most-significant-digit-first (MSDF) (also called online) multipliers and adders that processes data from left-to-right, allowing the execution of subsequent operations in digit-pipelined manner. Use of online operators eliminates the need for the development of complex mechanism of identifying the negative activation, as the output with highest weight value is generated first, and the sign of the result can be identified as soon as first non-zero digit is generated. The precision of the online operators can be tuned at run-time, making them extremely useful in situations where accuracy can be compromised for power and energy savings. The proposed design has been implemented on Xilinx Virtex-7 FPGA and is compared with state-of-the-art Stripes on various performance metrics. The results show the proposed design presents power savings, has shorter cycle time, and approximately 50% higher OPS per watt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google