Automatic Network Adaptation for Ultra-Low Uniform-Precision Quantization

要約

均一精度のニューラル ネットワーク量子化は、高い計算能力のために高密度にパックされた演算ユニットを簡素化するため、人気を博しています。
ただし、レイヤー全体の量子化エラーの影響に対する不均一な感度を無視するため、最適な推論精度が得られません。
この作業では、ニューラル チャネル拡張と呼ばれる新しいニューラル アーキテクチャ検索を提案します。これは、ネットワーク構造を調整して、超低一様精度量子化による精度低下を軽減します。
提案された方法は、ハードウェアの制約 (FLOP、PARAM など) を満たしながら、量子化に敏感なレイヤーのチャネルを選択的に拡張します。
詳細な分析と実験に基づいて、提案された方法がいくつかの一般的なネットワークチャネルを適応させて、CIFAR10 と ImageNet で優れた 2 ビット量子化精度を達成できることを示します。
特に、より小さな FLOP とパラメーター サイズで、2 ビット ResNet50 の最新のトップ 1/トップ 5 精度を達成しています。

要約(オリジナル)

Uniform-precision neural network quantization has gained popularity since it simplifies densely packed arithmetic unit for high computing capability. However, it ignores heterogeneous sensitivity to the impact of quantization errors across the layers, resulting in sub-optimal inference accuracy. This work proposes a novel neural architecture search called neural channel expansion that adjusts the network structure to alleviate accuracy degradation from ultra-low uniform-precision quantization. The proposed method selectively expands channels for the quantization sensitive layers while satisfying hardware constraints (e.g., FLOPs, PARAMs). Based on in-depth analysis and experiments, we demonstrate that the proposed method can adapt several popular networks channels to achieve superior 2-bit quantization accuracy on CIFAR10 and ImageNet. In particular, we achieve the best-to-date Top-1/Top-5 accuracy for 2-bit ResNet50 with smaller FLOPs and the parameter size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google