E2FIF: Push the limit of Binarized Deep Imagery Super-resolution using End-to-end Full-precision Information Flow

要約

バイナリニューラルネットワーク（BNN）は、パラメータ集約的な深層単一画像超解像（SISR）モデルを、ストレージや計算資源が限られた実機上に展開するための有望なソリューションとなる。SISRのための既存のBNNのほとんどは、全精度の対応するものと同等の性能を達成するために、主に2値化されたコンボリューションのより良い近似を通じて、ネットワーク内の重みと活性度を2値化することによって発生する情報損失を補償することに重点を置いている。本研究では、BNNとその全精密版との違いを再検討し、BNNの優れた汎化性能の鍵は、完全な全精密情報フローと、各2値化畳み込み層を通過する正確な勾配フローを維持することにあると主張する。このことに着想を得て、我々は、ネットワーク全体にわたって、各2値化畳み込み層上に全精度のスキップ接続またはその変形を導入することを提案する。これにより、前方表現能力と逆伝播勾配の精度が向上し、汎化性能が強化される。さらに重要なことは、このような方式は既存のSISR用BNNバックボーンに適用可能であり、追加的な計算コストを発生させないということである。その有効性を検証するため、4種類のSISR用BNNバックボーンを用いて4つのベンチマークデータで評価した結果、既存のBNNや4bitの競合品よりも明らかに優れた性能を示すことを報告する。

要約(オリジナル)

Binary neural network (BNN) provides a promising solution to deploy parameter-intensive deep single image super-resolution (SISR) models onto real devices with limited storage and computational resources. To achieve comparable performance with the full-precision counterpart, most existing BNNs for SISR mainly focus on compensating the information loss incurred by binarizing weights and activations in the network through better approximations to the binarized convolution. In this study, we revisit the difference between BNNs and their full-precision counterparts and argue that the key for good generalization performance of BNNs lies on preserving a complete full-precision information flow as well as an accurate gradient flow passing through each binarized convolution layer. Inspired by this, we propose to introduce a full-precision skip connection or its variant over each binarized convolution layer across the entire network, which can increase the forward expressive capability and the accuracy of back-propagated gradient, thus enhancing the generalization performance. More importantly, such a scheme is applicable to any existing BNN backbones for SISR without introducing any additional computation cost. To testify its efficacy, we evaluate it using four different backbones for SISR on four benchmark datasets and report obviously superior performance over existing BNNs and even some 4-bit competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL