Geometry-Aware Reference Synthesis for Multi-View Image Super-Resolution

要約

最近のマルチビューマルチメディアアプリケーションは、高解像度（HR）のビジュアルエクスペリエンスとストレージまたは帯域幅の制約の間で苦労しています。
したがって、この論文では、マルチビュー画像超解像（MVISR）タスクを提案します。
これは、同じシーンからキャプチャされたマルチビュー画像の解像度を上げることを目的としています。
1つの解決策は、画像またはビデオの超解像（SR）手法を適用して、低解像度（LR）入力ビューからHR結果を再構築することです。
ただし、これらの方法では、ビュー間の大角度の変換を処理したり、すべてのマルチビュー画像の情報を活用したりすることはできません。
これらの問題に対処するために、ジオメトリ情報を使用してすべてのLRマルチビューからシャープな詳細を抽出し、LR入力ビューのSRをサポートするMVSRnetを提案します。
具体的には、MVSRnetで提案されているGeometry-Aware Reference Synthesisモジュールは、ジオメトリ情報とすべてのマルチビューLR画像を使用して、ピクセル整列されたHR参照画像を合成します。
次に、提案された動的高周波検索ネットワークは、SRの参照画像の高周波テクスチャの詳細を十分に活用します。
いくつかのベンチマークでの広範な実験は、私たちの方法が最先端のアプローチよりも大幅に改善されていることを示しています。

要約(オリジナル)

Recent multi-view multimedia applications struggle between high-resolution (HR) visual experience and storage or bandwidth constraints. Therefore, this paper proposes a Multi-View Image Super-Resolution (MVISR) task. It aims to increase the resolution of multi-view images captured from the same scene. One solution is to apply image or video super-resolution (SR) methods to reconstruct HR results from the low-resolution (LR) input view. However, these methods cannot handle large-angle transformations between views and leverage information in all multi-view images. To address these problems, we propose the MVSRnet, which uses geometry information to extract sharp details from all LR multi-view to support the SR of the LR input view. Specifically, the proposed Geometry-Aware Reference Synthesis module in MVSRnet uses geometry information and all multi-view LR images to synthesize pixel-aligned HR reference images. Then, the proposed Dynamic High-Frequency Search network fully exploits the high-frequency textural details in reference images for SR. Extensive experiments on several benchmarks show that our method significantly improves over the state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google