Basic Binary Convolution Unit for Binarized Image Restoration Network

要約

リソースが限られたデバイスへの展開には、より軽量で高速なイメージ復元 (IR) モデルが不可欠です。
最も有望なモデル圧縮方法の 1 つであるバイナリ ニューラル ネットワーク (BNN) は、完全精度の畳み込みニューラル ネットワーク (CNN) の計算とパラメーターを大幅に削減できます。
しかし、BNN と完全精度 CNN には異なる性質があり、CNN を設計した経験を BNN の開発に生かすことはほとんどできません。
この研究では、IR タスクの残差接続、BatchNorm、活性化関数、および構造などのバイナリ畳み込みのコンポーネントを再考します。
体系的な分析を行って、バイナリ畳み込みにおける各コンポーネントの役割を説明し、落とし穴について説明します。
具体的には、残りの接続により、2値化による情報の損失を減らすことができることがわかりました。
BatchNorm は、残差接続とバイナリ畳み込みの間の値の範囲のギャップを解決できます。
アクティベーション関数の位置は、BNN のパフォーマンスに劇的に影響します。
調査結果と分析に基づいて、シンプルでありながら効率的な基本バイナリ畳み込みユニット (BBCU) を設計します。
さらに、IR ネットワークを 4 つの部分に分割し、各部分に対して BBCU のバリアントを特別に設計して、これらの部分を 2 値化する利点を調べます。
さまざまな IR タスクで実験を行い、BBCU は他の BNN や軽量モデルよりも大幅に優れています。これは、BBCU が 2 値化された IR ネットワークの基本ユニットとして機能できることを示しています。
すべてのコードとモデルがリリースされます。

要約(オリジナル)

Lighter and faster image restoration (IR) models are crucial for the deployment on resource-limited devices. Binary neural network (BNN), one of the most promising model compression methods, can dramatically reduce the computations and parameters of full-precision convolutional neural networks (CNN). However, there are different properties between BNN and full-precision CNN, and we can hardly use the experience of designing CNN to develop BNN. In this study, we reconsider components in binary convolution, such as residual connection, BatchNorm, activation function, and structure, for IR tasks. We conduct systematic analyses to explain each component’s role in binary convolution and discuss the pitfalls. Specifically, we find that residual connection can reduce the information loss caused by binarization; BatchNorm can solve the value range gap between residual connection and binary convolution; The position of the activation function dramatically affects the performance of BNN. Based on our findings and analyses, we design a simple yet efficient basic binary convolution unit (BBCU). Furthermore, we divide IR networks into four parts and specially design variants of BBCU for each part to explore the benefit of binarizing these parts. We conduct experiments on different IR tasks, and our BBCU significantly outperforms other BNNs and lightweight models, which shows that BBCU can serve as a basic unit for binarized IR networks. All codes and models will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google