Toward INT4 Fixed-Point Training via Exploring Quantization Error for Gradients

要約

ネットワーク量子化は通常、推論プロセスを高速化するために、完全精度の重みやアクティベーションを低ビット固定小数点値に変換します。
ネットワーク量子化に対する最近のアプローチでは、勾配がさらに低ビット固定小数点値に離散化され、効率的なトレーニングが可能になります。
通常、勾配の最小値と最大値の範囲を使用して量子化間隔を設定するか、勾配全体の量子化誤差が最小になるように間隔を調整します。
この論文では、低ビット固定小数点トレーニングの勾配の量子化誤差を分析し、大きな振幅の勾配の誤差を下げると量子化パフォーマンスが大幅に向上することを示します。
これに基づいて、量子化間隔に関して大きな勾配に対する量子化誤差の上限を導出し、大きな勾配に対する量子化誤差を最小化する間隔の最適条件を取得します。
また、大きな勾配に対して量子化誤差を小さく維持するために量子化間隔を適応的に調整する間隔更新アルゴリズムも導入します。
実験結果は、画像分類、物体検出、超解像などのさまざまなタスクにおけるネットワーク アーキテクチャとビット幅のさまざまな組み合わせに対する量子化手法の有効性を示しています。

要約(オリジナル)

Network quantization generally converts full-precision weights and/or activations into low-bit fixed-point values in order to accelerate an inference process. Recent approaches to network quantization further discretize the gradients into low-bit fixed-point values, enabling an efficient training. They typically set a quantization interval using a min-max range of the gradients or adjust the interval such that the quantization error for entire gradients is minimized. In this paper, we analyze the quantization error of gradients for the low-bit fixed-point training, and show that lowering the error for large-magnitude gradients boosts the quantization performance significantly. Based on this, we derive an upper bound of quantization error for the large gradients in terms of the quantization interval, and obtain an optimal condition for the interval minimizing the quantization error for large gradients. We also introduce an interval update algorithm that adjusts the quantization interval adaptively to maintain a small quantization error for large gradients. Experimental results demonstrate the effectiveness of our quantization method for various combinations of network architectures and bit-widths on various tasks, including image classification, object detection, and super-resolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google