Efficient and Robust Quantization-aware Training via Adaptive Coreset Selection

要約

量子化対応トレーニング (QAT) は、重みとアクティベーションの冗長性を削減するための代表的なモデル圧縮方法です。
ただし、既存の QAT 手法のほとんどはデータセット全体に対するエンドツーエンドのトレーニングを必要とするため、トレーニングに時間がかかり、エネルギーコストが高くなります。
さらに、トレーニング データ内の潜在的なラベル ノイズにより、QAT の堅牢性が損なわれます。
トレーニング中の各サンプルの重要性を定量化するために、量子化された重みの損失と勾配の分析に基づいた 2 つの指標、誤差ベクトル スコアと不一致スコアを提案します。
これら 2 つの指標に基づいて、現在のトレーニング エポックのデータを選択するための量子化対応の適応コアセット選択 (ACS) 方法を提案しました。
さまざまなネットワーク (ResNet-18、MobileNetV2、RetinaNet)、データセット (CIFAR-10、CIFAR-100、ImageNet-1K、COCO) 上で、さまざまな量子化設定の下でメソッドを評価します。
具体的には、私たちの方法は、わずか 10\% のサブセットを使用して、ImageNet-1K データセット上の 4 ビット量子化 ResNet-18 の 68.39\% の精度を達成できます。これは、ベースラインと比較して 4.24\% の絶対ゲインを持ちます。
私たちの方法では、トレーニング セット内のノイズの多いサンプルを削除することで QAT の堅牢性を向上させることもできます。

要約(オリジナル)

Quantization-aware training (QAT) is a representative model compression method to reduce redundancy in weights and activations. However, most existing QAT methods require end-to-end training on the entire dataset, which suffers from long training time and high energy costs. In addition, the potential label noise in the training data undermines the robustness of QAT. We propose two metrics based on analysis of loss and gradient of quantized weights: error vector score and disagreement score, to quantify the importance of each sample during training. Guided by these two metrics, we proposed a quantization-aware Adaptive Coreset Selection (ACS) method to select the data for the current training epoch. We evaluate our method on various networks (ResNet-18, MobileNetV2, RetinaNet), datasets(CIFAR-10, CIFAR-100, ImageNet-1K, COCO), and under different quantization settings. Specifically, our method can achieve an accuracy of 68.39\% of 4-bit quantized ResNet-18 on the ImageNet-1K dataset with only a 10\% subset, which has an absolute gain of 4.24\% compared to the baseline. Our method can also improve the robustness of QAT by removing noisy samples in the training set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google