Automatic Network Adaptation for Ultra-Low Uniform-Precision Quantization

要約

均一精度のニューラルネットワークの量子化は、高い計算能力を得るために高密度に詰め込まれた演算ユニットを単純化することから、人気を博している。しかし、量子化誤差の影響を受ける層間の不均質な感度を無視するため、最適とは言えない推論精度になる。本研究では、超低均一精度の量子化による精度劣化を緩和するために、ネットワーク構造を調整するニューラル・チャンネル拡張と呼ばれる新しいニューラル・アーキテクチャ探索を提案する。提案手法は、ハードウェア制約（例：FLOPs、PARAMs）を満たしつつ、量子化に敏感な層に対して選択的にチャネルを拡張するものである。詳細な解析と実験に基づき、提案手法はCIFAR10とImageNetにおいて、いくつかの一般的なネットワークチャンネルを適応させ、優れた2ビット量子化精度を達成できることを実証する。特に、2ビットResNet50において、より小さなFLOPsとパラメータサイズで、これまでで最高のトップ1/トップ5の精度を達成する。

要約(オリジナル)

Uniform-precision neural network quantization has gained popularity since it simplifies densely packed arithmetic unit for high computing capability. However, it ignores heterogeneous sensitivity to the impact of quantization errors across the layers, resulting in sub-optimal inference accuracy. This work proposes a novel neural architecture search called neural channel expansion that adjusts the network structure to alleviate accuracy degradation from ultra-low uniform-precision quantization. The proposed method selectively expands channels for the quantization sensitive layers while satisfying hardware constraints (e.g., FLOPs, PARAMs). Based on in-depth analysis and experiments, we demonstrate that the proposed method can adapt several popular networks channels to achieve superior 2-bit quantization accuracy on CIFAR10 and ImageNet. In particular, we achieve the best-to-date Top-1/Top-5 accuracy for 2-bit ResNet50 with smaller FLOPs and the parameter size.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL