SDQ: Stochastic Differentiable Quantization with Mixed Precision

要約

計算効率の高い方法でディープモデルを展開するために、モデル量子化アプローチが頻繁に使用されてきました。
さらに、混合ビット幅の算術演算をサポートする新しいハードウェアとして、混合精度量子化（MPQ）に関する最近の研究では、ネットワーク内のさまざまなレイヤーおよびモジュールの最適化されたビット幅を検索することにより、表現の能力を十分に活用し始めています。
ただし、以前の研究では、主に強化学習やニューラルアーキテクチャ検索などを使用して、コストのかかるスキームでMPQ戦略を検索するか、バイアスがかかっていて最適ではない可能性があるビット幅の割り当てに部分的な事前知識を利用しています。
この作業では、より滑らかな勾配近似を使用して、より柔軟でグローバルに最適化された空間でMPQ戦略を自動的に学習できる新しい確率的微分可能量子化（SDQ）メソッドを紹介します。
特に、微分可能ビット幅パラメーター（DBP）は、隣接するビット幅の選択肢間の確率的量子化の確率係数として使用されます。
最適なMPQ戦略が取得された後、エントロピーを意識したビンの正則化と知識の蒸留によってネットワークをさらにトレーニングします。
さまざまなハードウェア（GPUおよびFPGA）およびデータセット上のいくつかのネットワークについて、この方法を広範囲に評価します。
SDQは、より低いビット幅ですべての最先端の混合または単精度量子化よりも優れており、さまざまなResNetおよびMobileNetファミリの全精度の量子化よりも優れており、この方法の有効性と優位性を示しています。

要約(オリジナル)

In order to deploy deep models in a computationally efficient manner, model quantization approaches have been frequently used. In addition, as new hardware that supports mixed bitwidth arithmetic operations, recent research on mixed precision quantization (MPQ) begins to fully leverage the capacity of representation by searching optimized bitwidths for different layers and modules in a network. However, previous studies mainly search the MPQ strategy in a costly scheme using reinforcement learning, neural architecture search, etc., or simply utilize partial prior knowledge for bitwidth assignment, which might be biased and sub-optimal. In this work, we present a novel Stochastic Differentiable Quantization (SDQ) method that can automatically learn the MPQ strategy in a more flexible and globally-optimized space with smoother gradient approximation. Particularly, Differentiable Bitwidth Parameters (DBPs) are employed as the probability factors in stochastic quantization between adjacent bitwidth choices. After the optimal MPQ strategy is acquired, we further train our network with entropy-aware bin regularization and knowledge distillation. We extensively evaluate our method for several networks on different hardware (GPUs and FPGA) and datasets. SDQ outperforms all state-of-the-art mixed or single precision quantization with a lower bitwidth and is even better than the full-precision counterparts across various ResNet and MobileNet families, demonstrating the effectiveness and superiority of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google