E2FIF: Push the limit of Binarized Deep Imagery Super-resolution using End-to-end Full-precision Information Flow

要約

バイナリニューラルネットワーク（BNN）は、限られたストレージと計算リソースを備えた実際のデバイスに、パラメーターを多用するディープシングルイメージ超解像（SISR）モデルを展開するための有望なソリューションを提供します。
完全精度の対応物と同等のパフォーマンスを達成するために、SISRのほとんどの既存のBNNは、主に、2値化された畳み込みへのより良い近似を通じて、ネットワーク内の2値化された重みとアクティブ化によって発生する情報損失の補償に重点を置いています。
この研究では、BNNとその完全精度の対応物との違いを再検討し、BNNの優れた一般化パフォーマンスの鍵は、完全な完全精度の情報フローと、各2値化畳み込み層を通過する正確な勾配フローを維持することにあると主張します。
。
これに触発されて、ネットワーク全体の各2値化畳み込み層に全精度スキップ接続またはそのバリアントを導入することを提案します。これにより、前方表現能力と逆伝播勾配の精度が向上し、一般化パフォーマンスが向上します。
さらに重要なことに、このようなスキームは、追加の計算コストを導入することなく、SISRの既存のBNNバックボーンに適用できます。
その有効性を証明するために、4つのベンチマークデータセットでSISRの4つの異なるバックボーンを使用して評価し、既存のBNNや一部の4ビット競合製品よりも明らかに優れたパフォーマンスを報告します。

要約(オリジナル)

Binary neural network (BNN) provides a promising solution to deploy parameter-intensive deep single image super-resolution (SISR) models onto real devices with limited storage and computational resources. To achieve comparable performance with the full-precision counterpart, most existing BNNs for SISR mainly focus on compensating the information loss incurred by binarizing weights and activations in the network through better approximations to the binarized convolution. In this study, we revisit the difference between BNNs and their full-precision counterparts and argue that the key for good generalization performance of BNNs lies on preserving a complete full-precision information flow as well as an accurate gradient flow passing through each binarized convolution layer. Inspired by this, we propose to introduce a full-precision skip connection or its variant over each binarized convolution layer across the entire network, which can increase the forward expressive capability and the accuracy of back-propagated gradient, thus enhancing the generalization performance. More importantly, such a scheme is applicable to any existing BNN backbones for SISR without introducing any additional computation cost. To testify its efficacy, we evaluate it using four different backbones for SISR on four benchmark datasets and report obviously superior performance over existing BNNs and even some 4-bit competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google