Hadamard Domain Training with Integers for Class Incremental Quantized Learning

要約

継続学習は、多くの最新の機械学習アプリケーションにとって望ましい機能であり、分散シフトへの対応から微調整、新しいタスクの学習に至るまで、現場での適応と更新が可能になります。
プライバシーと低遅延の要件を持つアプリケーションの場合、リソースに制約のあるエッジ プラットフォームでは、継続的な学習によって課せられるコンピューティングとメモリの需要が法外なコストになる可能性があります。
完全量子化トレーニング (FQT) を通じて計算精度を下げると、同時にメモリ フットプリントが削減され、トレーニングと推論の両方の計算効率が向上します。
ただし、積極的な量子化、特に整数 FQT は通常、モデルの精度を許容できないレベルまで低下させます。
この論文では、安価なアダマール変換を活用して、整数行列の乗算のみで低精度のトレーニングを可能にする手法を提案します。
さらに、どのテンソルに確率的丸めが必要かを判断し、低ビット幅のアキュムレータを可能にするタイル行列乗算を提案します。
クラスの増分学習設定で、いくつかの人間活動認識データセットと CIFAR100 に対する手法の有効性を実証します。
すべての行列乗算入力を 8 ビット アキュムレータで 4 ビットまで量子化する一方で、精度の低下は 0.5% 未満および 3% 未満に抑えられます。

要約(オリジナル)

Continual learning is a desirable feature in many modern machine learning applications, which allows in-field adaptation and updating, ranging from accommodating distribution shift, to fine-tuning, and to learning new tasks. For applications with privacy and low latency requirements, the compute and memory demands imposed by continual learning can be cost-prohibitive for resource-constraint edge platforms. Reducing computational precision through fully quantized training (FQT) simultaneously reduces memory footprint and increases compute efficiency for both training and inference. However, aggressive quantization especially integer FQT typically degrades model accuracy to unacceptable levels. In this paper, we propose a technique that leverages inexpensive Hadamard transforms to enable low-precision training with only integer matrix multiplications. We further determine which tensors need stochastic rounding and propose tiled matrix multiplication to enable low-bit width accumulators. We demonstrate the effectiveness of our technique on several human activity recognition datasets and CIFAR100 in a class incremental learning setting. We achieve less than 0.5% and 3% accuracy degradation while we quantize all matrix multiplications inputs down to 4-bits with 8-bit accumulators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google