1-Bit FQT: Pushing the Limit of Fully Quantized Training to 1-bit

要約

完全量子化トレーニング (FQT) は、アクティベーション、重み、勾配を低精度に量子化することでディープ ニューラル ネットワークのトレーニングを高速化します。
FQT の究極の限界 (達成可能な最低精度) を探るため、最初の 1 ビット FQT を試みます。
我々は、Adam と SGD に基づいた FQT の理論的分析を提供し、勾配分散が FQT の収束に影響を与えることを明らかにしました。
これらの理論的結果に基づいて、活性化勾配枝刈り (AGP) 戦略を導入します。
この戦略は、有益性の低い勾配を削除し、残りの勾配の数値精度を向上させて勾配の分散を軽減することにより、勾配の不均一性を利用します。
さらに、サンプル チャネル結合量子化 (SCQ) を提案します。これは、重み勾配と活性化勾配の計算にさまざまな量子化戦略を利用して、低ビット幅のハードウェアに適した方法であることを保証します。
最後に、アルゴリズムを展開するためのフレームワークを紹介します。
複数のデータセットで VGGNet-16 と ResNet-18 を微調整する場合、当社のアルゴリズムはサンプルごとの量子化と比較して、平均で約 6% の精度向上を達成します。
さらに、トレーニングのスピードアップは、完全な精度のトレーニングと比較して最大 5.13 倍に達します。

要約(オリジナル)

Fully quantized training (FQT) accelerates the training of deep neural networks by quantizing the activations, weights, and gradients into lower precision. To explore the ultimate limit of FQT (the lowest achievable precision), we make a first attempt to 1-bit FQT. We provide a theoretical analysis of FQT based on Adam and SGD, revealing that the gradient variance influences the convergence of FQT. Building on these theoretical results, we introduce an Activation Gradient Pruning (AGP) strategy. The strategy leverages the heterogeneity of gradients by pruning less informative gradients and enhancing the numerical precision of remaining gradients to mitigate gradient variance. Additionally, we propose Sample Channel joint Quantization (SCQ), which utilizes different quantization strategies in the computation of weight gradients and activation gradients to ensure that the method is friendly to low-bitwidth hardware. Finally, we present a framework to deploy our algorithm. For fine-tuning VGGNet-16 and ResNet-18 on multiple datasets, our algorithm achieves an average accuracy improvement of approximately 6%, compared to per-sample quantization. Moreover, our training speedup can reach a maximum of 5.13x compared to full precision training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google