EQ-Net: Elastic Quantization Neural Networks

要約

現在のモデルの量子化手法は、記憶領域と計算の複雑さを削減する上で有望な機能を示しています。
ただし、さまざまなハードウェアでサポートされる量子化形式の多様性により、既存のソリューションの制限の 1 つは、通常、さまざまなシナリオに対して最適化を繰り返す必要があることです。
柔軟な量子化形式を使用してモデルを構築する方法は、あまり研究されていません。
この論文では、堅牢な重み共有量子化スーパーネットをトレーニングすることを目的とした、Elastic Quantization Neural Networks (EQ-Net) と呼ばれるワンショット ネットワーク量子化レジームについて検討します。
まず第一に、さまざまな主流の量的形式に適応するための弾性量子化空間 (弾性ビット幅、粒度、対称性を含む) を提案します。
次に、弾性量子化空間ギャップにおける重みと出力ロジットの分布の不一致を埋めるために、重み分布正則化損失 (WDR-Loss) とグループ漸進誘導損失 (GPG-Loss) を提案します。
最後に、スーパーネット内の混合精度量子化ニューラル ネットワークを迅速に検索するための推定器として、遺伝的アルゴリズムと提案された条件付き量子化認識精度予測器 (CQAP) を組み込みます。
広範な実験により、当社の EQ-Net は、静的な対応物および最先端の堅牢なビット幅手法に近いか、それよりも優れていることが実証されました。
コードは \href{https://github.com/xuke225/EQ-Net.git}{https://github.com/xuke225/EQ-Net} で入手できます。

要約(オリジナル)

Current model quantization methods have shown their promising capability in reducing storage space and computation complexity. However, due to the diversity of quantization forms supported by different hardware, one limitation of existing solutions is that usually require repeated optimization for different scenarios. How to construct a model with flexible quantization forms has been less studied. In this paper, we explore a one-shot network quantization regime, named Elastic Quantization Neural Networks (EQ-Net), which aims to train a robust weight-sharing quantization supernet. First of all, we propose an elastic quantization space (including elastic bit-width, granularity, and symmetry) to adapt to various mainstream quantitative forms. Secondly, we propose the Weight Distribution Regularization Loss (WDR-Loss) and Group Progressive Guidance Loss (GPG-Loss) to bridge the inconsistency of the distribution for weights and output logits in the elastic quantization space gap. Lastly, we incorporate genetic algorithms and the proposed Conditional Quantization-Aware Accuracy Predictor (CQAP) as an estimator to quickly search mixed-precision quantized neural networks in supernet. Extensive experiments demonstrate that our EQ-Net is close to or even better than its static counterparts as well as state-of-the-art robust bit-width methods. Code can be available at \href{https://github.com/xuke225/EQ-Net.git}{https://github.com/xuke225/EQ-Net}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google