KeDuSR: Real-World Dual-Lens Super-Resolution via Kernel-Free Matching

要約

デュアルレンズ超解像 (SR) は、望遠画像 (Ref) を利用して低解像度の広角画像 (LR 入力) の超解像を支援する、リファレンス (Ref) ベースの SR の実用的なシナリオです。
一般的な RefSR とは異なり、デュアルレンズ SR の Ref は、重なった視野 (FoV) エリアのみをカバーします。
ただし、現在のデュアルレンズ SR 方法では、これらの特定の特性をほとんど利用せず、LR 入力と Ref の間で密なマッチングを直接実行します。
LR と Ref の間の解像度のギャップにより、マッチングでは最もよく一致する候補が見逃され、重複する FoV 領域内の一貫した構造が破壊される可能性があります。
それらとは異なり、位置合わせされた Ref をシャープで一貫性のあるものにするために、グローバル ワーピングとローカル ワーピングを組み合わせることにより、最初に Ref を LR 入力の中心領域 (つまり、重なった FoV 領域) に位置合わせすることを提案します。
次に、位置合わせされた Ref と LR 中心を値とキーのペアとして定式化し、LR のコーナー領域をクエリとして定式化します。
このようにして、LR コーナー (クエリ) 領域と LR センター (キー) 領域の間のマッチングによるカーネルフリーのマッチング戦略を提案します。これにより、対応する位置合わせされた Ref (値) をターゲットのコーナー領域にワープできます。
私たちのカーネルフリーのマッチング戦略は、LR と Ref の間の解像度のギャップを回避し、ネットワークの汎化能力を向上させます。
さらに、(LR, Ref, HR) トリプルを使用して DuSR-Real データセットを構築します。LR と HR はよく一致しています。
3 つのデータセットでの実験により、私たちの方法が 2 番目に優れた方法よりも大幅に優れていることが実証されました。
コードとデータセットは https://github.com/Craigie-Hill/KeDuSR で入手できます。

要約(オリジナル)

Dual-lens super-resolution (SR) is a practical scenario for reference (Ref) based SR by utilizing the telephoto image (Ref) to assist the super-resolution of the low-resolution wide-angle image (LR input). Different from general RefSR, the Ref in dual-lens SR only covers the overlapped field of view (FoV) area. However, current dual-lens SR methods rarely utilize these specific characteristics and directly perform dense matching between the LR input and Ref. Due to the resolution gap between LR and Ref, the matching may miss the best-matched candidate and destroy the consistent structures in the overlapped FoV area. Different from them, we propose to first align the Ref with the center region (namely the overlapped FoV area) of the LR input by combining global warping and local warping to make the aligned Ref be sharp and consistent. Then, we formulate the aligned Ref and LR center as value-key pairs, and the corner region of the LR is formulated as queries. In this way, we propose a kernel-free matching strategy by matching between the LR-corner (query) and LR-center (key) regions, and the corresponding aligned Ref (value) can be warped to the corner region of the target. Our kernel-free matching strategy avoids the resolution gap between LR and Ref, which makes our network have better generalization ability. In addition, we construct a DuSR-Real dataset with (LR, Ref, HR) triples, where the LR and HR are well aligned. Experiments on three datasets demonstrate that our method outperforms the second-best method by a large margin. Our code and dataset are available at https://github.com/Craigie-Hill/KeDuSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google