Learning Thin-Plate Spline Motion and Seamless Composition for Parallax-Tolerant Unsupervised Deep Image Stitching

要約

従来のイメージ スティッチング アプローチは、ますます複雑化する幾何学的特徴 (ポイント、ライン、エッジなど) を活用してパフォーマンスを向上させる傾向があります。
ただし、これらの手作りの機能は、適切な幾何学的構造を持つ特定の自然のシーンにのみ適しています。
対照的に、ディープ スティッチング スキームは、ロバストなセマンティック機能を適応的に学習することによって不利な条件を克服しますが、ホモグラフィ ベースの登録のために大きな視差のケースを処理することはできません。
これらの問題を解決するために、視差耐性のある教師なしディープ イメージ スティッチング手法である UDIS++ を提案します。
まず、グローバル ホモグラフィからローカル薄板スプライン モーションまでの画像レジストレーションをモデル化するための堅牢で柔軟なワープを提案します。
位置合わせと歪みに関する共同最適化により、重なり合う領域の正確な位置合わせと、重なり合わない領域の形状保存を提供します。
その後、一般化機能を改善するために、クロスデータセットおよびクロス解像度アプリケーションでワープ適応を強化するためのシンプルだが効果的な反復戦略を設計します。
最後に、視差アーティファクトをさらに排除するために、継ぎ目駆動の構成マスクの教師なし学習によって、ステッチされた画像をシームレスに合成することを提案します。
既存の方法と比較して、私たちのソリューションは視差耐性があり、特定のシーンの複雑な幾何学的特徴の骨の折れる設計から解放されています。
広範な実験により、定量的および定性的の両方で、SoTA メソッドに対する当社の優位性が示されています。
コードは https://github.com/nie-lang/UDIS2 で入手できます。

要約(オリジナル)

Traditional image stitching approaches tend to leverage increasingly complex geometric features (point, line, edge, etc.) for better performance. However, these hand-crafted features are only suitable for specific natural scenes with adequate geometric structures. In contrast, deep stitching schemes overcome the adverse conditions by adaptively learning robust semantic features, but they cannot handle large-parallax cases due to homography-based registration. To solve these issues, we propose UDIS++, a parallax-tolerant unsupervised deep image stitching technique. First, we propose a robust and flexible warp to model the image registration from global homography to local thin-plate spline motion. It provides accurate alignment for overlapping regions and shape preservation for non-overlapping regions by joint optimization concerning alignment and distortion. Subsequently, to improve the generalization capability, we design a simple but effective iterative strategy to enhance the warp adaption in cross-dataset and cross-resolution applications. Finally, to further eliminate the parallax artifacts, we propose to composite the stitched image seamlessly by unsupervised learning for seam-driven composition masks. Compared with existing methods, our solution is parallax-tolerant and free from laborious designs of complicated geometric features for specific scenes. Extensive experiments show our superiority over the SoTA methods, both quantitatively and qualitatively. The code will be available at https://github.com/nie-lang/UDIS2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google