Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations

要約

この論文では、参照ベースの超解像（RefSR）における2つの難しい問題、（i）適切な参照画像の選択方法、および（ii）自己監視方式で実際のRefSRを学習する方法について検討します。
特に、デュアルカメラズーム（SelfDZSR）での観測からの実世界の画像SRのための新しい自己教師あり学習アプローチを提示します。
最近のスマートフォンでの複数のカメラの人気を考えると、ズーム率の高い（望遠）画像は、ズーム率の低い（短焦点）画像のSRをガイドするための参照として自然に活用できます。
さらに、SelfDZSRは、望遠画像と同じ解像度を持つ短焦点画像のSR結果を取得するために、深いネットワークを学習します。
この目的のために、監視情報として追加の高解像度画像の代わりに望遠画像を取得し、対応する短焦点画像パッチを超解像するための参照としてその中から中央パッチを選択します。
短焦点低解像度（LR）画像と望遠グラウンドトゥルース（GT）画像間のミスアライメントの影響を軽減するために、補助LRジェネレーターを設計し、空間位置を変更せずにGTを補助LRにマッピングします。
。
次に、補助LRを利用して、提案された適応型空間トランスネットワーク（AdaSTN）によってLR機能を変形し、Ref機能をGTに一致させることができます。
テスト中、SelfDZSRを直接展開して、望遠画像を参照して短焦点画像全体を超解像することができます。
実験は、私たちの方法が最先端技術に対してより良い定量的および定性的性能を達成することを示しています。
コードはhttps://github.com/cszhilu1998/SelfDZSRで入手できます。

要約(オリジナル)

In this paper, we consider two challenging issues in reference-based super-resolution (RefSR), (i) how to choose a proper reference image, and (ii) how to learn real-world RefSR in a self-supervised manner. Particularly, we present a novel self-supervised learning approach for real-world image SR from observations at dual camera zooms (SelfDZSR). Considering the popularity of multiple cameras in modern smartphones, the more zoomed (telephoto) image can be naturally leveraged as the reference to guide the SR of the lesser zoomed (short-focus) image. Furthermore, SelfDZSR learns a deep network to obtain the SR result of short-focus image to have the same resolution as the telephoto image. For this purpose, we take the telephoto image instead of an additional high-resolution image as the supervision information and select a center patch from it as the reference to super-resolve the corresponding short-focus image patch. To mitigate the effect of the misalignment between short-focus low-resolution (LR) image and telephoto ground-truth (GT) image, we design an auxiliary-LR generator and map the GT to an auxiliary-LR while keeping the spatial position unchanged. Then the auxiliary-LR can be utilized to deform the LR features by the proposed adaptive spatial transformer networks (AdaSTN), and match the Ref features to GT. During testing, SelfDZSR can be directly deployed to super-solve the whole short-focus image with the reference of telephoto image. Experiments show that our method achieves better quantitative and qualitative performance against state-of-the-arts. Codes are available at https://github.com/cszhilu1998/SelfDZSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google