GPLQ: A General, Practical, and Lightning QAT Method for Vision Transformers

要約

ビジョントランス（VIT）はコンピュータービジョンに不可欠ですが、計算的に集中的です。
モデルの量子化は、特に4ビットのようなビット幅の低い幅では、この困難を緩和することを目的としていますが、既存のトレーニング量子化（PTQ）および量子化対応トレーニング（QAT）メソッドは大きな制限を示します。
PTQは多くの場合、かなりの精度低下を負いますが、QATは高精度を達成しますが、法的な計算コスト、下流のタスクへの一般化の制限、トレーニングの不安定性、およびオープンソースコードベースの欠如に苦しんでいます。
これらの課題に対処するために、このペーパーでは、効率的かつ効果的なVIT量子化のために設計された新しいフレームワークである一般的、実用的、稲妻量子化（GPLQ）を紹介します。
GPLQは、2つの重要な経験的洞察に基づいています。活性化量子化の最重要重要性と、一般化を維持するためのモデルの元の最適化「盆地」を維持する必要性です。
したがって、GPLQは、連続した「アクティベーションファースト、ウェイトレーター」戦略を採用しています。
ステージ1はFP32に重みを維持しながら、同じ「盆地」にとどまるために1エポックのみで損失を模倣する機能で活性化を量子化し、それによって一般化を維持します。
ステージ2は、PTQメソッドを使用して重みを定量化します。
その結果、GPLQは既存のQATメソッドよりも100倍高速であり、メモリフットプリントをFP32トレーニング以下でもレベルに引き下げ、イメージネットの精度と、微細に溶解した視覚分類とオブジェクト検出を含む多様なダウンストリームタスクの両方の点でFP32モデルと非常に競争力のある4ビットモデルパフォーマンスを達成します。
複数のビジョンタスクをサポートする使いやすいオープンソースツールキットをリリースします。

要約(オリジナル)

Vision Transformers (ViTs) are essential in computer vision but are computationally intensive, too. Model quantization, particularly to low bit-widths like 4-bit, aims to alleviate this difficulty, yet existing Post-Training Quantization (PTQ) and Quantization-Aware Training (QAT) methods exhibit significant limitations. PTQ often incurs substantial accuracy drop, while QAT achieves high accuracy but suffers from prohibitive computational costs, limited generalization to downstream tasks, training instability, and lacking of open-source codebase. To address these challenges, this paper introduces General, Practical, and Lightning Quantization (GPLQ), a novel framework designed for efficient and effective ViT quantization. GPLQ is founded on two key empirical insights: the paramount importance of activation quantization and the necessity of preserving the model’s original optimization “basin” to maintain generalization. Consequently, GPLQ employs a sequential “activation-first, weights-later” strategy. Stage 1 keeps weights in FP32 while quantizing activations with a feature mimicking loss in only 1 epoch to keep it stay in the same “basin”, thereby preserving generalization. Stage 2 quantizes weights using a PTQ method. As a result, GPLQ is 100x faster than existing QAT methods, lowers memory footprint to levels even below FP32 training, and achieves 4-bit model performance that is highly competitive with FP32 models in terms of both accuracy on ImageNet and generalization to diverse downstream tasks, including fine-grained visual classification and object detection. We will release an easy-to-use open-source toolkit supporting multiple vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google