Meta-Learning based Degradation Representation for Blind Super-Resolution

要約

ほとんどのCNNベースの超解像（SR）メソッドは、劣化が既知であると想定しています（\ eg、bicubic）。
これらの方法は、劣化が想定と異なる場合、パフォーマンスが大幅に低下します。
したがって、いくつかのアプローチは、実際の劣化空間をカバーするために、複数の劣化の複雑な組み合わせでSRネットワークをトレーニングしようとします。
複数の未知の劣化に適応するために、明示的な劣化推定器を導入すると、実際にSRのパフォーマンスを向上させることができます。
ただし、以前の明示的な劣化推定方法では、通常、グラウンドトゥルースぼかしカーネルを監視してガウスぼかしを予測し、推定誤差がSRの失敗につながる可能性があります。
したがって、暗黙の識別劣化表現を抽出できる方法を設計する必要があります。
この目的のために、メタ学習ネットワーク（MLN）、劣化抽出ネットワーク（DEN）、および地域劣化認識SRネットワーク（RDAN）を含むメタ学習ベースの地域劣化認識SRネットワーク（MRDA）を提案します。
グラウンドトゥルース劣化の欠如を処理するために、MLNを使用して、数回の反復後に特定の複雑な劣化に迅速に適応し、暗黙の劣化情報を抽出します。
続いて、教師ネットワークMRDA $ _ {T} $は、MLNによってSR用に抽出された劣化情報をさらに利用するように設計されています。
ただし、MLNでは、ペアの低解像度（LR）画像と対応する高解像度（HR）画像を反復処理する必要があります。これは、推論フェーズでは使用できません。
したがって、知識蒸留（KD）を採用して、学生ネットワークに、LR画像から教師と同じ暗黙の劣化表現（IDR）を直接抽出することを学習させます。

要約(オリジナル)

The most of CNN based super-resolution (SR) methods assume that the degradation is known (\eg, bicubic). These methods will suffer a severe performance drop when the degradation is different from their assumption. Therefore, some approaches attempt to train SR networks with the complex combination of multiple degradations to cover the real degradation space. To adapt to multiple unknown degradations, introducing an explicit degradation estimator can actually facilitate SR performance. However, previous explicit degradation estimation methods usually predict Gaussian blur with the supervision of groundtruth blur kernels, and estimation errors may lead to SR failure. Thus, it is necessary to design a method that can extract implicit discriminative degradation representation. To this end, we propose a Meta-Learning based Region Degradation Aware SR Network (MRDA), including Meta-Learning Network (MLN), Degradation Extraction Network (DEN), and Region Degradation Aware SR Network (RDAN). To handle the lack of groundtruth degradation, we use the MLN to rapidly adapt to the specific complex degradation after several iterations and extract implicit degradation information. Subsequently, a teacher network MRDA$_{T}$ is designed to further utilize the degradation information extracted by MLN for SR. However, MLN requires iterating on paired low-resolution (LR) and corresponding high-resolution (HR) images, which is unavailable in the inference phase. Therefore, we adopt knowledge distillation (KD) to make the student network learn to directly extract the same implicit degradation representation (IDR) as the teacher from LR images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google