A2Q: Accumulator-Aware Quantization with Guaranteed Overflow Avoidance

要約

推論中に低精度アキュムレータを使用する場合のオーバーフローを回避するために量子化ニューラル ネットワーク (QNN) をトレーニングするように設計された新しい重み量子化手法であるアキュムレータ対応量子化 (A2Q) を紹介します。
A2Q は、重み正規化からインスピレーションを得た独自の公式を導入しており、これにより、導出されたアキュムレータのビット幅境界に従ってモデルの重みの L1 ノルムが制限されます。
したがって、低精度の累算用に QNN をトレーニングする場合、A2Q は本質的に非構造化重みスパース性も促進して、オーバーフローの回避を保証します。
私たちの方法を深層学習ベースのコンピューター ビジョン タスクに適用して、A2Q が浮動小数点ベースラインと同等のモデル精度を維持しながら、低精度アキュムレーター用に QNN をトレーニングできることを示します。
評価では、汎用プラットフォームとプログラマブル ハードウェアの両方に対する A2Q の影響を考慮します。
ただし、カスタム アキュムレータのビット幅を最大限に活用するようにプログラムできるため、FPGA でのモデル展開を主にターゲットにしています。
私たちの実験では、アキュムレータのビット幅が FPGA ベースのアクセラレータのリソース効率に大きく影響することがわかりました。
弊社のベンチマーク全体の平均では、A2Q は 99.2% の浮動小数点モデル精度で、対応する 32 ビット アキュムレータと比較してリソース使用率を最大 2.3 倍削減します。

要約(オリジナル)

We present accumulator-aware quantization (A2Q), a novel weight quantization method designed to train quantized neural networks (QNNs) to avoid overflow when using low-precision accumulators during inference. A2Q introduces a unique formulation inspired by weight normalization that constrains the L1-norm of model weights according to accumulator bit width bounds that we derive. Thus, in training QNNs for low-precision accumulation, A2Q also inherently promotes unstructured weight sparsity to guarantee overflow avoidance. We apply our method to deep learning-based computer vision tasks to show that A2Q can train QNNs for low-precision accumulators while maintaining model accuracy competitive with a floating-point baseline. In our evaluations, we consider the impact of A2Q on both general-purpose platforms and programmable hardware. However, we primarily target model deployment on FPGAs because they can be programmed to fully exploit custom accumulator bit widths. Our experimentation shows accumulator bit width significantly impacts the resource efficiency of FPGA-based accelerators. On average across our benchmarks, A2Q offers up to a 2.3x reduction in resource utilization over 32-bit accumulator counterparts with 99.2% of the floating-point model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google