Meta-Learned Kernel For Blind Super-Resolution Kernel Estimation

要約

最近の画像劣化推定方法により、単一画像の超解像 (SR) アプローチが可能になり、実世界の画像をより適切にアップサンプリングできるようになりました。
これらの方法の中で、明示的なカーネル推定アプローチは、未知の劣化を処理する上で前例のないパフォーマンスを示しました。
それにもかかわらず、下流のSRモデルで使用される場合、多くの制限によりその有効性が制限されます。
具体的には、この一連の方法では、i) 画像ごとの適応時間が長いために過度の推論時間がかかり、ii) カーネルの不一致により画像の忠実度が低下します。
この作業では、画像の分布に含まれる情報からメタ学習する学習から学習へのアプローチを導入します。これにより、カーネル推定と画像の忠実度の両方で大幅に改善されたパフォーマンスで、新しい画像への適応を大幅に高速化できます。
具体的には、MetaKernelGAN という名前のカーネル生成 GAN をさまざまなタスクでメタトレーニングします。これにより、新しい画像が提示されると、ジェネレーターは情報に基づいたカーネル推定から開始し、ディスクリミネーターはパッチを区別する強力な機能から開始します。
ディストリビューション。
最先端の方法と比較して、私たちの実験は、MetaKernelGAN がカーネルの大きさと共分散をより適切に推定し、非ブラインドと組み合わせると、同様の計算体制内で最先端のブラインド SR の結果をもたらすことを示しています。
SSRモデル。
教師なし学習器の教師あり学習を通じて、私たちの方法は教師なし学習器の一般化可能性を維持し、カーネル推定の最適化安定性を改善し、したがって画像適応を改善し、既存の方法よりも 14.24 から 102.1 倍高速化されたより高速な推論につながります。

要約(オリジナル)

Recent image degradation estimation methods have enabled single-image super-resolution (SR) approaches to better upsample real-world images. Among these methods, explicit kernel estimation approaches have demonstrated unprecedented performance at handling unknown degradations. Nonetheless, a number of limitations constrain their efficacy when used by downstream SR models. Specifically, this family of methods yields i) excessive inference time due to long per-image adaptation times and ii) inferior image fidelity due to kernel mismatch. In this work, we introduce a learning-to-learn approach that meta-learns from the information contained in a distribution of images, thereby enabling significantly faster adaptation to new images with substantially improved performance in both kernel estimation and image fidelity. Specifically, we meta-train a kernel-generating GAN, named MetaKernelGAN, on a range of tasks, such that when a new image is presented, the generator starts from an informed kernel estimate and the discriminator starts with a strong capability to distinguish between patch distributions. Compared with state-of-the-art methods, our experiments show that MetaKernelGAN better estimates the magnitude and covariance of the kernel, leading to state-of-the-art blind SR results within a similar computational regime when combined with a non-blind SR model. Through supervised learning of an unsupervised learner, our method maintains the generalizability of the unsupervised learner, improves the optimization stability of kernel estimation, and hence image adaptation, and leads to a faster inference with a speedup between 14.24 to 102.1x over existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google