MetaMix: Meta-state Precision Searcher for Mixed-precision Activation Quantization

要約

効率的なネットワークの混合精度量子化では、ビット選択の探索中に発生する活性化の不安定性が発生することがよくあります。
この問題に対処するために、ビット選択フェーズと重みトレーニングフェーズで構成される MetaMix と呼ばれる新しい方法を提案します。
ビット選択フェーズでは、(1) 混合精度を意識した重み更新、(2) 固定の混合精度を意識した重みを使用したビット検索トレーニングの 2 つのステップを繰り返します。両方のステップを組み合わせることで、混合精度でのアクティベーションの不安定性が軽減されます。
量子化を実現し、高速かつ高品質なビット選択に貢献します。
重みトレーニング フェーズでは、ビット選択フェーズでトレーニングされた重みとステップ サイズを利用して微調整し、高速なトレーニングを提供します。
効率的で量子化が難しいネットワーク、つまり MobileNet v2 および v3、および ImageNet 上の ResNet-18 を用いた実験では、提案された手法が精度と演算の点で混合精度量子化の境界を押し広げ、両方を上回っていることがわかりました。
混合精度と単精度の SOTA メソッド。

要約(オリジナル)

Mixed-precision quantization of efficient networks often suffer from activation instability encountered in the exploration of bit selections. To address this problem, we propose a novel method called MetaMix which consists of bit selection and weight training phases. The bit selection phase iterates two steps, (1) the mixed-precision-aware weight update, and (2) the bit-search training with the fixed mixed-precision-aware weights, both of which combined reduce activation instability in mixed-precision quantization and contribute to fast and high-quality bit selection. The weight training phase exploits the weights and step sizes trained in the bit selection phase and fine-tunes them thereby offering fast training. Our experiments with efficient and hard-to-quantize networks, i.e., MobileNet v2 and v3, and ResNet-18 on ImageNet show that our proposed method pushes the boundary of mixed-precision quantization, in terms of accuracy vs. operations, by outperforming both mixed- and single-precision SOTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google