Natural Image Stitching Using Depth Maps

要約

自然画像スティッチング (NIS) は、異なる表示位置から同じ 3D シーンをキャプチャした 2 つのオーバーラップ画像から 1 つの自然なモザイクを作成することを目的としています。
シーンが非平面でカメラのベースラインが広い場合、視差が無視できなくなるため、必然的に問題が発生します。
この論文では、重複領域と非重複領域の両方で視差に対して自然に見えるモザイクを生成する、深度マップを使用した新しい NIS 方法を提案します。
まず、特徴一致の外れ値を除外し、入力画像間のエピポーラ ジオメトリを推定するためのロバストなフィッティング方法を構築します。
次に、ターゲット イメージの三角形分割を描画し、頂点の位置、調整された深度値、およびエピポーラ ジオメトリに基づいて、三角形ごとに 1 つずつ、複数のローカル ホモグラフィを推定します。
最後に、ワープ画像は、区分的ホモグラフィの後方マッピングによってレンダリングされます。
次に、平均ブレンディングと画像の修復によってパノラマが生成されます。
実験結果は、提案された方法が重複領域で正確な位置合わせを提供するだけでなく、非重複領域で仮想自然性も提供することを示しています。

要約(オリジナル)

Natural image stitching (NIS) aims to create one natural-looking mosaic from two overlapping images that capture the same 3D scene from different viewing positions. Challenges inevitably arise when the scene is non-planar and the camera baseline is wide, since parallax becomes not negligible in such cases. In this paper, we propose a novel NIS method using depth maps, which generates natural-looking mosaics against parallax in both overlapping and non-overlapping regions. Firstly, we construct a robust fitting method to filter out the outliers in feature matches and estimate the epipolar geometry between input images. Then, we draw a triangulation of the target image and estimate multiple local homographies, one per triangle, based on the locations of their vertices, the rectified depth values and the epipolar geometry. Finally, the warping image is rendered by the backward mapping of piece-wise homographies. Panorama is then produced via average blending and image inpainting. Experimental results demonstrate that the proposed method not only provides accurate alignment in the overlapping regions but also virtual naturalness in the non-overlapping region.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google