A Scale-Arbitrary Image Super-Resolution Network Using Frequency-domain Information

要約

画像超解像 (SR) は、低解像度 (LR) 画像で失われた高周波情報を回復する手法です。
空間ドメイン情報は、画像 SR を実装するために広く利用されているため、SR タスクに周波数ドメイン情報を含めることが新しい傾向になっています。
さらに、画像 SR は通常、アプリケーション指向であり、さまざまなコンピューター ビジョン タスクで画像を任意に拡大する必要があります。
したがって、この論文では、周波数領域で画像の特徴を調べて、新しいスケール任意画像 SR ネットワークを設計します。
まず、いくつかのデータセットの LR-HR 画像ペアをさまざまなスケール ファクターで統計的に分析し、さまざまなスケール ファクターでのさまざまな画像の高周波スペクトルがさまざまな程度の劣化に苦しんでいることを発見しましたが、有効な低周波スペクトルは保持される傾向があります。
一定の分布範囲内。
次に、この発見に基づいて、深層強化学習を使用した適応的なスケールを考慮した特徴分割メカニズムを考案します。これにより、周波数スペクトルを保持する低周波部分と回復する高周波部分に正確かつ適応的に分割できます。
最後に、任意のスケール係数で高周波スペクトルを再構築するために、マルチレベル機能をキャプチャして融合するスケール対応機能回復モジュールを設計します。
公開データセットでの広範な実験は、最先端の方法と比較して、私たちの方法の優位性を示しています。

要約(オリジナル)

Image super-resolution (SR) is a technique to recover lost high-frequency information in low-resolution (LR) images. Spatial-domain information has been widely exploited to implement image SR, so a new trend is to involve frequency-domain information in SR tasks. Besides, image SR is typically application-oriented and various computer vision tasks call for image arbitrary magnification. Therefore, in this paper, we study image features in the frequency domain to design a novel scale-arbitrary image SR network. First, we statistically analyze LR-HR image pairs of several datasets under different scale factors and find that the high-frequency spectra of different images under different scale factors suffer from different degrees of degradation, but the valid low-frequency spectra tend to be retained within a certain distribution range. Then, based on this finding, we devise an adaptive scale-aware feature division mechanism using deep reinforcement learning, which can accurately and adaptively divide the frequency spectrum into the low-frequency part to be retained and the high-frequency one to be recovered. Finally, we design a scale-aware feature recovery module to capture and fuse multi-level features for reconstructing the high-frequency spectrum at arbitrary scale factors. Extensive experiments on public datasets show the superiority of our method compared with state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google