Deep 3D World Models for Multi-Image Super-Resolution Beyond Optical Flow

要約

マルチ画像超解像度 (MISR) を使用すると、シーン サンプリングのサブピクセル オフセットの形式で相補的な情報を運ぶ複数の画像を組み合わせることで、低解像度 (LR) 取得の空間解像度を高めることができ、効率が大幅に向上します。
単一画像の対応物よりも。
その主な困難は、複数の画像情報を正確に位置合わせして融合することにあります。
バースト写真など、現在研究されている設定では、通常、LR 画像間の幾何学的差異が小さいという仮定が含まれており、画像の位置合わせにはオプティカル フローに依存しています。
我々は、現在研究されている MISR 設定を一般化して、任意の、そして潜在的に大きく異なるカメラの位置と方向で取得された一連の画像の解像度を高めることができる MISR 手法を研究します。
私たちが提案する EpiMISR と呼ばれるモデルは、オプティカル フローから離れ、取得プロセスのエピポーラ ジオメトリを明示的に使用し、放射特徴フィールドのトランスベースの処理とともに、大規模な光が存在する場合の最先端の MISR 手法を大幅に改善します。
LR画像の差異。

要約(オリジナル)

Multi-image super-resolution (MISR) allows to increase the spatial resolution of a low-resolution (LR) acquisition by combining multiple images carrying complementary information in the form of sub-pixel offsets in the scene sampling, and can be significantly more effective than its single-image counterpart. Its main difficulty lies in accurately registering and fusing the multi-image information. Currently studied settings, such as burst photography, typically involve assumptions of small geometric disparity between the LR images and rely on optical flow for image registration. We study a MISR method that can increase the resolution of sets of images acquired with arbitrary, and potentially wildly different, camera positions and orientations, generalizing the currently studied MISR settings. Our proposed model, called EpiMISR, moves away from optical flow and explicitly uses the epipolar geometry of the acquisition process, together with transformer-based processing of radiance feature fields to substantially improve over state-of-the-art MISR methods in presence of large disparities in the LR images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google