Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction

要約

画像超解像度 (SR) は、ペアの HR-LR トレーニング画像を使用して、低解像度 (LR) から高解像度 (HR) へのマッピングを学習することを目的としています。
従来の SR 方法は通常、バイキュービック ダウンサンプリングなどの所定の劣化モデルを使用して HR 画像から LR 画像を合成することによって、ペアのトレーニング データを収集します。
ただし、現実世界のシナリオの動的な変化により、テスト画像の現実的な劣化タイプがトレーニング時の劣化タイプと一致しない可能性があり、結果として SR 画像の品質が低下します。
これに対処するために、既存の方法では劣化モデルを推定し、画像固有のモデルをトレーニングしようとしていますが、これは非常に時間がかかり、急速に変化するドメイン シフトに対処するのは現実的ではありません。
さらに、これらの方法は主に 1 つの劣化タイプ (ブラー劣化など) の推定に重点を置き、実際のテスト時のシナリオではノイズや JPEG などの他の劣化タイプを無視するため、実用性が制限されます。
これらの問題に取り組むために、SRTTA という SR 用の効率的なテスト時間適応フレームワークを紹介します。これは、異なる/未知の劣化タイプを持つテスト ドメインに SR モデルを迅速に適応させることができます。
具体的には、事前にトレーニングされた劣化分類器によって予測される、テスト画像の劣化タイプに基づいてペアのデータを構築するための 2 次劣化スキームを設計します。
次に、最初のテスト画像から二次劣化した対応画像への特徴レベルの再構成学習を実装することで SR モデルを適応させます。これにより、SR モデルが妥当な HR 画像を生成するのに役立ちます。
8 つの異なる劣化を伴う新しく合成された破損した DIV2K データセットといくつかの実世界のデータセットに対して広範な実験が行われ、SRTTA フレームワークが満足のいく速度で既存の手法に比べて目覚ましい改善を達成することが実証されました。
ソース コードは https://github.com/DengZeshuai/SRTTA で入手できます。

要約(オリジナル)

Image super-resolution (SR) aims to learn a mapping from low-resolution (LR) to high-resolution (HR) using paired HR-LR training images. Conventional SR methods typically gather the paired training data by synthesizing LR images from HR images using a predetermined degradation model, e.g., Bicubic down-sampling. However, the realistic degradation type of test images may mismatch with the training-time degradation type due to the dynamic changes of the real-world scenarios, resulting in inferior-quality SR images. To address this, existing methods attempt to estimate the degradation model and train an image-specific model, which, however, is quite time-consuming and impracticable to handle rapidly changing domain shifts. Moreover, these methods largely concentrate on the estimation of one degradation type (e.g., blur degradation), overlooking other degradation types like noise and JPEG in real-world test-time scenarios, thus limiting their practicality. To tackle these problems, we present an efficient test-time adaptation framework for SR, named SRTTA, which is able to quickly adapt SR models to test domains with different/unknown degradation types. Specifically, we design a second-order degradation scheme to construct paired data based on the degradation type of the test image, which is predicted by a pre-trained degradation classifier. Then, we adapt the SR model by implementing feature-level reconstruction learning from the initial test image to its second-order degraded counterparts, which helps the SR model generate plausible HR images. Extensive experiments are conducted on newly synthesized corrupted DIV2K datasets with 8 different degradations and several real-world datasets, demonstrating that our SRTTA framework achieves an impressive improvement over existing methods with satisfying speed. The source code is available at https://github.com/DengZeshuai/SRTTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google