CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution

要約

畳み込みニューラル ネットワーク (CNN) を使用した画像超解像 (SR) の画期的な進歩にもかかわらず、SR ネットワークの計算の複雑さが高いため、SR はまだユビキタス アプリケーションを享受していません。
量子化は、この問題を解決するための有望なアプローチの 1 つです。
ただし、既存の方法では、ビット幅が 8 ビット未満の SR モデルを量子化することができず、固定ビット幅の量子化があらゆる場所に適用されるため、精度が大幅に低下します。
この作業では、精度の低下を抑えながら高い平均ビット削減を実現するために、入力のローカルコンテンツに基づいて最適なビットをローカル領域とレイヤーに適応的に割り当てる、SR ネットワーク用の新しいコンテンツ認識動的量子化 (CADyQ) メソッドを提案します。
画像。
この目的のために、トレーニング可能なビット セレクター モジュールが導入され、各レイヤーと特定のローカル イメージ パッチの適切なビット幅と量子化レベルが決定されます。
このモジュールは、パッチの画像勾配の平均の大きさとレイヤーの入力フィーチャの標準偏差の両方を使用して推定される量子化感度によって管理されます。
提案された量子化パイプラインは、さまざまな SR ネットワークでテストされ、いくつかの標準ベンチマークで広く評価されています。
計算の複雑さの大幅な削減と復元精度の向上は、提案された SR の CADyQ フレームワークの有効性を明確に示しています。
コードは https://github.com/Cheeun/CADyQ で入手できます。

要約(オリジナル)

Despite breakthrough advances in image super-resolution (SR) with convolutional neural networks (CNNs), SR has yet to enjoy ubiquitous applications due to the high computational complexity of SR networks. Quantization is one of the promising approaches to solve this problem. However, existing methods fail to quantize SR models with a bit-width lower than 8 bits, suffering from severe accuracy loss due to fixed bit-width quantization applied everywhere. In this work, to achieve high average bit-reduction with less accuracy loss, we propose a novel Content-Aware Dynamic Quantization (CADyQ) method for SR networks that allocates optimal bits to local regions and layers adaptively based on the local contents of an input image. To this end, a trainable bit selector module is introduced to determine the proper bit-width and quantization level for each layer and a given local image patch. This module is governed by the quantization sensitivity that is estimated by using both the average magnitude of image gradient of the patch and the standard deviation of the input feature of the layer. The proposed quantization pipeline has been tested on various SR networks and evaluated on several standard benchmarks extensively. Significant reduction in computational complexity and the elevated restoration accuracy clearly demonstrate the effectiveness of the proposed CADyQ framework for SR. Codes are available at https://github.com/Cheeun/CADyQ.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google