DCS-RISR: Dynamic Channel Splitting for Efficient Real-world Image Super-Resolution

要約

実世界の画像超解像 (RISR) は、未知の複雑な劣化下で SR 画像の品質を向上させるために注目を集めています。
既存の方法は、さまざまな劣化レベルの低解像度 (LR) 画像を強化するために重い SR モデルに依存しているため、リソースが限られたデバイスでの実際の展開が大幅に制限されます。
この論文では、DCS-RISRと呼ばれる、効率的な実世界の画像超解像度のための新しい動的チャネル分割方式を提案します。
具体的には、最初に光劣化予測ネットワークを導入して劣化ベクトルを回帰させ、実際の劣化をシミュレートします。これにより、チャネル分割ベクトルが効率的な SR モデルの入力として生成されます。
次に、学習可能なオクターブ畳み込みブロックが提案され、各ブロックで低周波および高周波機能のチャネル分割スケールを適応的に決定し、低周波機能に大規模なスケールを提供し、低周波機能に小規模なスケールを提供することにより、計算オーバーヘッドとメモリ コストを削減します。
高いもの。
RISR のパフォーマンスをさらに向上させるために、非ローカル正則化を使用して、LR および HR サブスペースからのパッチの知識を自由計算推論で補完します。
広範な実験により、さまざまなベンチマーク データセットでの DCS-RISR の有効性が実証されています。
当社の DCS-RISR は、計算/パラメーターと PSNR/SSIM メトリックの間で最適なトレードオフを達成するだけでなく、さまざまな劣化レベルの現実世界の画像を効果的に処理します。

要約(オリジナル)

Real-world image super-resolution (RISR) has received increased focus for improving the quality of SR images under unknown complex degradation. Existing methods rely on the heavy SR models to enhance low-resolution (LR) images of different degradation levels, which significantly restricts their practical deployments on resource-limited devices. In this paper, we propose a novel Dynamic Channel Splitting scheme for efficient Real-world Image Super-Resolution, termed DCS-RISR. Specifically, we first introduce the light degradation prediction network to regress the degradation vector to simulate the real-world degradations, upon which the channel splitting vector is generated as the input for an efficient SR model. Then, a learnable octave convolution block is proposed to adaptively decide the channel splitting scale for low- and high-frequency features at each block, reducing computation overhead and memory cost by offering the large scale to low-frequency features and the small scale to the high ones. To further improve the RISR performance, Non-local regularization is employed to supplement the knowledge of patches from LR and HR subspace with free-computation inference. Extensive experiments demonstrate the effectiveness of DCS-RISR on different benchmark datasets. Our DCS-RISR not only achieves the best trade-off between computation/parameter and PSNR/SSIM metric, and also effectively handles real-world images with different degradation levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google