Object-level Geometric Structure Preserving for Natural Image Stitching

要約

世界的に自然な構造で画像をつなぎ合わせるというテーマは、最も重要な意味を持っています。
現在の方法論は、局所的な幾何学的構造を保存する能力は示していますが、これらの幾何学的構造間の関係を維持するには不十分です。
この論文では、OBJ-GSP で歪みやゴーストアーティファクトを同時に軽減しながら、グローバル類似性事前に基づいて画像内の全体的なオブジェクトレベルの構造を保護するよう努めます。
私たちのアプローチでは、Segment Anything Model を活用して意味情報を含む幾何学的構造を抽出し、人間の認識とより直観的に一致する方法でオブジェクトを保存するアルゴリズムの機能を強化します。
私たちは、さまざまな幾何学的境界間の関係を支配する空間的制約を特定しようとしています。
複数の幾何学的境界が集合的に完全なオブジェクトを定義することを認識し、三角形メッシュを使用して、個々の幾何学的構造だけでなく、画像内のオブジェクトの全体的な形状も保護します。
複数の画像ステッチング データセットにわたる経験的評価により、私たちの方法が画像ステッチングにおける新しい最先端のベンチマークを確立することが実証されました。
私たちの実装とデータセットは https://github.com/RussRobin/OBJ-GSP で公開されています。

要約(オリジナル)

The topic of stitching images with globally natural structures holds paramount significance. Current methodologies exhibit the ability to preserve local geometric structures, yet fall short in maintaining relationships between these geometric structures. In this paper, we endeavor to safeguard the overall, OBJect-level structures within images based on Global Similarity Prior, while concurrently mitigating distortion and ghosting artifacts with OBJ-GSP. Our approach leverages the Segment Anything Model to extract geometric structures with semantic information, enhancing the algorithm’s ability to preserve objects in a manner that aligns more intuitively with human perception. We seek to identify spatial constraints that govern the relationships between various geometric boundaries. Recognizing that multiple geometric boundaries collectively define complete objects, we employ triangular meshes to safeguard not only individual geometric structures but also the overall shapes of objects within the images. Empirical evaluations across multiple image stitching datasets demonstrate that our method establishes a new state-of-the-art benchmark in image stitching. Our implementation and dataset is publicly available at https://github.com/RussRobin/OBJ-GSP .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google