ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised Real-world Single Image Super-Resolution

要約

単一画像超解像度 (SISR) は、特定の低解像度 (LR) 画像を高解像度 (HR) の画像にアップサンプリングすることを目的とした、困難な不適切設定問題です。
実際の LR-HR トレーニング ペアを取得するのが難しいため、最近のアプローチは、バイキュービックなどの単純化されたダウンサンプリング演算子によって劣化したシミュレートされた LR 画像でトレーニングされています。
このようなアプローチは、合成された LR 画像と現実世界の LR 画像の間に大きなギャップがあるため、実際には問題が生じる可能性があります。
この問題を軽減するために、入力画像をスケーリングし、異なるスケール条件で元の入力を復元できる新しい可逆スケール条件関数 (ICF) を提案します。
提案された ICF を活用することで、ペア/アンペアトレーニング データを使用せずに現実世界の SR タスクを処理するための新しい自己教師あり SISR フレームワーク (ICF-SRSR) を構築します。
さらに、当社の ICF-SRSR は現実的かつ実現可能な LR-HR ペアを生成できるため、既存の監視付き SISR ネットワークをより堅牢にすることができます。
広範な実験により、完全に自己監視された方法で SISR を処理する際の提案された方法の有効性が実証されています。
当社の ICF-SRSR は、現実世界のシナリオで合成ペア画像でトレーニングされた既存の手法と比較して優れたパフォーマンスを示し、公開ベンチマーク データセットで最先端の教師あり/教師なし手法と比較して同等のパフォーマンスを示します。

要約(オリジナル)

Single image super-resolution (SISR) is a challenging ill-posed problem that aims to up-sample a given low-resolution (LR) image to a high-resolution (HR) counterpart. Due to the difficulty in obtaining real LR-HR training pairs, recent approaches are trained on simulated LR images degraded by simplified down-sampling operators, e.g., bicubic. Such an approach can be problematic in practice because of the large gap between the synthesized and real-world LR images. To alleviate the issue, we propose a novel Invertible scale-Conditional Function (ICF), which can scale an input image and then restore the original input with different scale conditions. By leveraging the proposed ICF, we construct a novel self-supervised SISR framework (ICF-SRSR) to handle the real-world SR task without using any paired/unpaired training data. Furthermore, our ICF-SRSR can generate realistic and feasible LR-HR pairs, which can make existing supervised SISR networks more robust. Extensive experiments demonstrate the effectiveness of the proposed method in handling SISR in a fully self-supervised manner. Our ICF-SRSR demonstrates superior performance compared to the existing methods trained on synthetic paired images in real-world scenarios and exhibits comparable performance compared to state-of-the-art supervised/unsupervised methods on public benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google