Knowledge Distillation based Degradation Estimation for Blind Super-Resolution

要約

ブラインド画像の超解像 (Blind-SR) は、対応する低解像度 (LR) の入力画像から未知の劣化を伴う高解像度 (HR) 画像を復元することを目的としています。
既存の作業のほとんどは、SR を導くために、劣化ごとに明示的な劣化推定量を設計しています。
ただし、複数の劣化の組み合わせ (たとえば、ぼかし、ノイズ、JPEG 圧縮) の具体的なラベルを提供して、劣化推定器のトレーニングを監視することは実行不可能です。
さらに、ぼかしなどの特定の劣化に対するこれらの特別な設計は、さまざまな劣化を処理するためにモデルを一般化することを妨げます。
このためには、劣化のグラウンド トゥルースの監視に依存することなく、すべての劣化に対して弁別的な劣化表現を抽出できる暗黙の劣化推定器を設計する必要があります。
この論文では、知識抽出ベースのブラインドSRネットワーク（KDSR）を提案します。
これは、知識蒸留ベースの暗黙的劣化推定ネットワーク (KD-IDE) と効率的な SR ネットワークで構成されています。
KDSR モデルを学習するには、まず教師ネットワーク KD-IDE$_{T}$ をトレーニングします。
HR と LR のペアのパッチを入力として受け取り、SR ネットワークと一緒に最適化されます。
次に、学生ネットワーク KD-IDE$_{S}$ をさらにトレーニングします。これは、LR 画像のみを入力として受け取り、KD-IDE$_{T}$ と同じ暗黙的劣化表現 (IDR) を抽出することを学習します。
さらに、抽出された IDR を十分に使用するために、SR ネットワークを構築するために、シンプルで強力かつ効率的な IDR ベースの動的畳み込み残差ブロック (IDR-DCRB) を設計します。
古典的および現実世界の劣化設定の下で広範な実験を行います。
結果は、KDSR が SOTA パフォーマンスを達成し、さまざまな劣化プロセスに一般化できることを示しています。
ソースコードと事前トレーニング済みモデルがリリースされます。

要約(オリジナル)

Blind image super-resolution (Blind-SR) aims to recover a high-resolution (HR) image from its corresponding low-resolution (LR) input image with unknown degradations. Most of the existing works design an explicit degradation estimator for each degradation to guide SR. However, it is infeasible to provide concrete labels of multiple degradation combinations (\eg, blur, noise, jpeg compression) to supervise the degradation estimator training. In addition, these special designs for certain degradation, such as blur, impedes the models from being generalized to handle different degradations. To this end, it is necessary to design an implicit degradation estimator that can extract discriminative degradation representation for all degradations without relying on the supervision of degradation ground-truth. In this paper, we propose a Knowledge Distillation based Blind-SR network (KDSR). It consists of a knowledge distillation based implicit degradation estimator network (KD-IDE) and an efficient SR network. To learn the KDSR model, we first train a teacher network: KD-IDE$_{T}$. It takes paired HR and LR patches as inputs and is optimized with the SR network jointly. Then, we further train a student network KD-IDE$_{S}$, which only takes LR images as input and learns to extract the same implicit degradation representation (IDR) as KD-IDE$_{T}$. In addition, to fully use extracted IDR, we design a simple, strong, and efficient IDR based dynamic convolution residual block (IDR-DCRB) to build an SR network. We conduct extensive experiments under classic and real-world degradation settings. The results show that KDSR achieves SOTA performance and can generalize to various degradation processes. The source codes and pre-trained models will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google