Parallax-tolerant Image Stitching via Segmentation-guided Multi-homography Warping

要約

画像間の大きな視差は、画像スティッチングにおいては解決できない問題です。
これに対処するために、さまざまなワーピングベースの方法が提案されていますが、その結果はまだ満足のいくものではありません。
この論文では、画像セグメンテーションによって導かれたマルチホモグラフィーワーピングを使用する新しい画像スティッチング方法を提案します。
具体的には、Segment Anything モデルを活用してターゲット画像を多数のコンテンツにセグメント化し、エネルギーベースのマルチホモグラフィー フィッティング アルゴリズムによって特徴点を複数のサブセットに分割します。
特徴点の複数のサブセットは、対応する複数のホモグラフィーを計算するために使用されます。
重複領域内のセグメント化されたコンテンツごとに、測光誤差が最も低く、最も適合するホモグラフィーを選択します。
非重複領域内のセグメント化されたコンテンツごとに、線形化されたホモグラフィーの重み付けされた組み合わせを計算します。
最後に、ターゲット画像は、参照画像と位置合わせするために最適なホモグラフィーによってワープされ、線形ブレンディングによって最終的なパノラマが生成されます。
公開データセットに関する包括的な実験結果は、私たちの方法が最先端の方法と比較して、大幅に最高の位置合わせ精度を提供することを示しています。
ソース コードは https://github.com/tlliao/multi-homo-warp で入手できます。

要約(オリジナル)

Large parallax between images is an intractable issue in image stitching. Various warping-based methods are proposed to address it, yet the results are unsatisfactory. In this paper, we propose a novel image stitching method using multi-homography warping guided by image segmentation. Specifically, we leverage the Segment Anything Model to segment the target image into numerous contents and partition the feature points into multiple subsets via the energy-based multi-homography fitting algorithm. The multiple subsets of feature points are used to calculate the corresponding multiple homographies. For each segmented content in the overlapping region, we select its best-fitting homography with the lowest photometric error. For each segmented content in the non-overlapping region, we calculate a weighted combination of the linearized homographies. Finally, the target image is warped via the best-fitting homographies to align with the reference image, and the final panorama is generated via linear blending. Comprehensive experimental results on the public datasets demonstrate that our method provides the best alignment accuracy by a large margin, compared with the state-of-the-art methods. The source code is available at https://github.com/tlliao/multi-homo-warp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google