Object-level Geometric Structure Preserving for Natural Image Stitching

要約

世界的に自然な構造で画像をつなぎ合わせるというテーマは、位置合わせと歪みの防止という 2 つの主な目標を持って最も重要な意味を持っています。
既存のアプローチは、適切に位置合わせする能力を示していますが、オブジェクト構造を維持するという点では不十分です。
この論文では、良好な位置合わせパフォーマンスに基づいて、グローバル類似性優先度 (OBJ-GSP) に基づいて画像内の全体的なオブジェクト レベルの構造を保護するよう努めます。
私たちのアプローチでは、Segment Anything Model ファミリのようなセマンティック セグメンテーション モデルを利用して、シーン内のあらゆるオブジェクトの輪郭を抽出します。
三角形メッシュは、画像内のオブジェクトの全体的な形状を保護するために画像変換に使用されます。
位置合わせと歪み防止の間のバランスは、オブジェクト メッシュが類似性と射影変換の間でバランスをとることを可能にすることによって達成されます。
また、低高度航空写真スティッチングにおけるセグメンテーションの重要性も示します。
さらに、これまでで最も包括的な画像ステッチング ベンチマークである StitchBench を提案します。
広範な実験結果は、OBJ-GSP が位置合わせと形状保持の両方において既存の方法よりも優れていることを示しています。
コードとデータセットは \url{https://github.com/RussRobin/OBJ-GSP} で公開されています。

要約(オリジナル)

The topic of stitching images with globally natural structures holds paramount significance, with two main goals: alignment and distortion prevention. The existing approaches exhibit the ability to align well, yet fall short in maintaining object structures. In this paper, we endeavour to safeguard the overall OBJect-level structures within images based on Global Similarity Prior (OBJ-GSP), on the basis of good alignment performance. Our approach leverages semantic segmentation models like the family of Segment Anything Model to extract the contours of any objects in a scene. Triangular meshes are employed in image transformation to protect the overall shapes of objects within images. The balance between alignment and distortion prevention is achieved by allowing the object meshes to strike a balance between similarity and projective transformation. We also demonstrate the importance of segmentation in low-altitude aerial image stitching. Additionally, we propose StitchBench, the most comprehensive image stitching benchmark by far. Extensive experimental results demonstrate that OBJ-GSP outperforms existing methods in both alignment and shape preservation. Code and dataset is publicly available at \url{https://github.com/RussRobin/OBJ-GSP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google