Reconstructed Convolution Module Based Look-Up Tables for Efficient Image Super-Resolution

要約

ルックアップ テーブル (LUT) ベースの方法は、単一画像の超解像度 (SR) タスクで大きな有効性を示しています。
ただし、以前の方法では、バニラ コンボリューションにおける空間とチャネルの特徴の相互作用によって引き起こされる、LUT の受容野 (RF) サイズの制限という本質的な理由が無視されています。
LUT サイズを直線的に増加させることを犠牲にして、RF を増加することしかできません。
含まれる LUT サイズで RF を拡大するために、チャネルごとの計算と空間計算を分離する新しい Reconstructed Convolution(RC) モジュールを提案します。
これは、$n\times n$ の受容野を維持するために $n^2$ 1D LUT として定式化できます。これは、以前に定式化された $n\times n$D LUT よりも明らかに小さいです。
当社の RC モジュールによって生成された LUT は、SR-LUT ベースラインと比較して 1/10000 未満のストレージに達します。
RCLUT と呼ばれる、提案された再構築畳み込みモジュール ベースの LUT 手法は、最先端の LUT ベースの SR 手法よりも RF サイズを 9 倍拡大でき、5 つの一般的なベンチマーク データセットで優れたパフォーマンスを達成できます。
さらに、効率的で堅牢な RC モジュールをプラグインとして使用して、他の LUT ベースの SR メソッドを改善することができます。
コードは https://github.com/liuguandu/RC-LUT で入手できます。

要約(オリジナル)

Look-up table(LUT)-based methods have shown the great efficacy in single image super-resolution (SR) task. However, previous methods ignore the essential reason of restricted receptive field (RF) size in LUT, which is caused by the interaction of space and channel features in vanilla convolution. They can only increase the RF at the cost of linearly increasing LUT size. To enlarge RF with contained LUT sizes, we propose a novel Reconstructed Convolution(RC) module, which decouples channel-wise and spatial calculation. It can be formulated as $n^2$ 1D LUTs to maintain $n\times n$ receptive field, which is obviously smaller than $n\times n$D LUT formulated before. The LUT generated by our RC module reaches less than 1/10000 storage compared with SR-LUT baseline. The proposed Reconstructed Convolution module based LUT method, termed as RCLUT, can enlarge the RF size by 9 times than the state-of-the-art LUT-based SR method and achieve superior performance on five popular benchmark dataset. Moreover, the efficient and robust RC module can be used as a plugin to improve other LUT-based SR methods. The code is available at https://github.com/liuguandu/RC-LUT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google