QuantNAS for super resolution: searching for efficient quantization-friendly architectures against quantization noise

要約

画像超解像度のための高性能で計算効率の高いニューラル ネットワーク モデルが常に必要とされています。計算効率の高いモデルは、低容量のデバイスで使用でき、二酸化炭素排出量を削減できます。
このようなモデルを取得する 1 つの方法は、モデルを圧縮することです。
量子化。
もう 1 つの方法は、新しいより効率的なソリューションを自動的に発見するニューラル アーキテクチャ検索です。
私たちは、これら 2 つのアプローチの長所を組み合わせた新しい量子化対応手順、QuantNAS を提案します。
QuantNAS を機能させるために、この手順では量子化に適した超解像度モデルを探します。
このアプローチでは、エントロピー正則化、量子化ノイズ、量子化適応偏差 (ADQ) モジュールを利用して、検索手順を強化します。
エントロピー正則化手法では、検索空間の各ブロック内の単一の操作に優先順位を付けます。
パラメータとアクティベーションに量子化ノイズを追加すると、量子化後のモデルの劣化が近似され、より量子化に適したアーキテクチャが得られます。
ADQ は、超解像度モデルの Batch Norm ブロックによって引き起こされる問題を軽減するのに役立ちます。
実験結果は、提案された近似が直接モデル量子化よりも検索手順に適していることを示しています。
QuantNAS は、固定アーキテクチャの均一または混合精度量子化よりも優れた PSNR/BitOps トレードオフを持つアーキテクチャを検出します。
最先端の SR モデルと RFDN からインスピレーションを得た 2 つの検索空間への適用を通じて、この手法の有効性を示します。
したがって、誰でも既存のアーキテクチャに基づいて適切な検索空間を設計し、私たちの方法を適用してより良い品質と効率を得ることができます。
提案された手順は、直接重み量子化よりも 30\% 高速であり、より安定しています。

要約(オリジナル)

There is a constant need for high-performing and computationally efficient neural network models for image super-resolution: computationally efficient models can be used via low-capacity devices and reduce carbon footprints. One way to obtain such models is to compress models, e.g. quantization. Another way is a neural architecture search that automatically discovers new, more efficient solutions. We propose a novel quantization-aware procedure, the QuantNAS that combines pros of these two approaches. To make QuantNAS work, the procedure looks for quantization-friendly super-resolution models. The approach utilizes entropy regularization, quantization noise, and Adaptive Deviation for Quantization (ADQ) module to enhance the search procedure. The entropy regularization technique prioritizes a single operation within each block of the search space. Adding quantization noise to parameters and activations approximates model degradation after quantization, resulting in a more quantization-friendly architectures. ADQ helps to alleviate problems caused by Batch Norm blocks in super-resolution models. Our experimental results show that the proposed approximations are better for search procedure than direct model quantization. QuantNAS discovers architectures with better PSNR/BitOps trade-off than uniform or mixed precision quantization of fixed architectures. We showcase the effectiveness of our method through its application to two search spaces inspired by the state-of-the-art SR models and RFDN. Thus, anyone can design a proper search space based on an existing architecture and apply our method to obtain better quality and efficiency. The proposed procedure is 30\% faster than direct weight quantization and is more stable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google