Efficient Quantization-aware Training with Adaptive Coreset Selection

要約

モデル サイズの拡大とディープ ニューラル ネットワーク (DNN) の計算により、効率的なモデル展開方法に対する需要が高まっています。
量子化対応トレーニング (QAT) は、重みとアクティベーションの冗長性を活用する代表的なモデル圧縮方法です。
ただし、既存の QAT 手法のほとんどはデータセット全体に対するエンドツーエンドのトレーニングを必要とするため、トレーニングに時間がかかり、エネルギーコストが高くなります。
トレーニングデータの冗長性を利用してデータ効率を向上させることを目的としたコアセット選択も、効率的なトレーニングのために広く使用されています。
この研究では、量子化を意識したトレーニングのトレーニング効率を向上させるために、コアセットの選択を通じて新しい角度を提案します。
QAT の特性に基づいて、トレーニング中の各サンプルの重要性を定量化するために、誤差ベクトル スコアと不一致スコアという 2 つの指標を提案します。
これら 2 つの重要な指標に基づいて、現在のトレーニング エポックのデータを選択するための量子化を意識した適応コアセット選択 (ACS) 方法を提案しました。
さまざまなネットワーク (ResNet-18、MobileNetV2)、データセット (CIFAR-100、ImageNet-1K) 上で、さまざまな量子化設定の下でメソッドを評価します。
以前のコアセット選択方法と比較して、私たちの方法は、さまざまなデータセット部分での QAT パフォーマンスを大幅に向上させます。
私たちの方法は、わずか 10% のサブセットで、ImageNet-1K データセット上の 4 ビット量子化 ResNet-18 の 68.39% の精度を達成できます。これは、ベースラインと比較して 4.24% の絶対ゲインを持ちます。

要約(オリジナル)

The expanding model size and computation of deep neural networks (DNNs) have increased the demand for efficient model deployment methods. Quantization-aware training (QAT) is a representative model compression method to leverage redundancy in weights and activations. However, most existing QAT methods require end-to-end training on the entire dataset, which suffers from long training time and high energy costs. Coreset selection, aiming to improve data efficiency utilizing the redundancy of training data, has also been widely used for efficient training. In this work, we propose a new angle through the coreset selection to improve the training efficiency of quantization-aware training. Based on the characteristics of QAT, we propose two metrics: error vector score and disagreement score, to quantify the importance of each sample during training. Guided by these two metrics of importance, we proposed a quantization-aware adaptive coreset selection (ACS) method to select the data for the current training epoch. We evaluate our method on various networks (ResNet-18, MobileNetV2), datasets(CIFAR-100, ImageNet-1K), and under different quantization settings. Compared with previous coreset selection methods, our method significantly improves QAT performance with different dataset fractions. Our method can achieve an accuracy of 68.39% of 4-bit quantized ResNet-18 on the ImageNet-1K dataset with only a 10% subset, which has an absolute gain of 4.24% compared to the baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google