Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations

要約

本論文では、スマートフォン向けの参照ベース超解像(RefSR)における2つの困難な課題、(i)適切な参照画像を選択する方法、(ii)RefSRを自己教師付きで学習する方法、について考察する。特に、デュアルカメラやマルチカメラのズーム時の観察から、実世界のRefSRのための新しい自己教師あり学習アプローチを提案する。第一に、最近のスマートフォンにおける複数カメラの普及を考慮すると、よりズームされた（望遠）画像は、よりズームされた（超広角）画像の超解像（SR）を導く参照として自然に活用できる。第二に、DZSRの自己教師あり学習のために、高解像度の追加画像の代わりに望遠画像を教師情報とし、対応する超広角画像パッチを超解像するための参照としてそこから中心パッチを選択する。学習中の超広角低解像度（LR）パッチと望遠地上真理（GT）画像との間の位置ずれの影響を緩和するために、まずパッチベースのオプティカルフローアライメントを採用し、次に、歪んだLR特徴の変形をガイドする補助LRを設計する。視覚的に良好な結果を生成するために、特徴空間におけるGTと出力の知覚的差異をより良く表現するために、局所的なオーバーラップしたスライスワッサーシュタイン損失を提示する。テスト中、DZSRは望遠画像を参照しながら超広角画像全体をスーパーソリュー ションするために直接導入することができる。さらに、自己教師付きRefSRを探求するために、複数のズームされた観測を取り込み、参照画像を効果的に利用するための漸進的融合スキームを提示する。実験によれば、我々の手法は、最新の技術に対して、より優れた定量的・定性的性能を達成している。コードはhttps://github.com/cszhilu1998/SelfDZSR_PlusPlus。

要約(オリジナル)

In this paper, we consider two challenging issues in reference-based super-resolution (RefSR) for smartphone, (i) how to choose a proper reference image, and (ii) how to learn RefSR in a self-supervised manner. Particularly, we propose a novel self-supervised learning approach for real-world RefSR from observations at dual and multiple camera zooms. Firstly, considering the popularity of multiple cameras in modern smartphones, the more zoomed (telephoto) image can be naturally leveraged as the reference to guide the super-resolution (SR) of the lesser zoomed (ultra-wide) image, which gives us a chance to learn a deep network that performs SR from the dual zoomed observations (DZSR). Secondly, for self-supervised learning of DZSR, we take the telephoto image instead of an additional high-resolution image as the supervision information, and select a center patch from it as the reference to super-resolve the corresponding ultra-wide image patch. To mitigate the effect of the misalignment between ultra-wide low-resolution (LR) patch and telephoto ground-truth (GT) image during training, we first adopt patch-based optical flow alignment and then design an auxiliary-LR to guide the deforming of the warped LR features. To generate visually pleasing results, we present local overlapped sliced Wasserstein loss to better represent the perceptual difference between GT and output in the feature space. During testing, DZSR can be directly deployed to super-solve the whole ultra-wide image with the reference of the telephoto image. In addition, we further take multiple zoomed observations to explore self-supervised RefSR, and present a progressive fusion scheme for the effective utilization of reference images. Experiments show that our methods achieve better quantitative and qualitative performance against state-of-the-arts. Codes are available at https://github.com/cszhilu1998/SelfDZSR_PlusPlus.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL