Learning Residual Elastic Warps for Image Stitching under Dirichlet Boundary Condition

要約

学習ベースの弾性ワープに関するトレンドの提案により、深い画像ステッチングにより、大きな視差エラーにさらされた画像を位置合わせすることができます。
顕著な位置合わせにもかかわらず、適用されるトレーニング戦略は主に重複領域の位置合わせに焦点を当てているため、この方法では、ターゲット画像の重複領域と非重複領域の間に時折生じる穴や不連続性が発生することに苦労しています。
その結果、不連続性を隠したり、穴を埋めるために、それぞれシーム ファインダーや画像修復などの追加モジュールが必要になります。
この研究では、ディリクレ境界条件の問題に対処し、反復的なミスアライメント補正のための残差学習によってパフォーマンスを向上させる反復弾性ワープ (REwarp) を提案します。
具体的には、REwarp は、不連続性と穴のない画像ステッチングの境界制約の下で、ホモグラフィーと薄板スプライン (TPS) を予測します。
私たちの実験では、既存のステッチング手法と比較して、REwarp の有利な位置合わせと競争力のある計算コストが示されています。
私たちのソースコードは https://github.com/minshu-kim/REwarp で入手できます。

要約(オリジナル)

Trendy suggestions for learning-based elastic warps enable the deep image stitchings to align images exposed to large parallax errors. Despite the remarkable alignments, the methods struggle with occasional holes or discontinuity between overlapping and non-overlapping regions of a target image as the applied training strategy mostly focuses on overlap region alignment. As a result, they require additional modules such as seam finder and image inpainting for hiding discontinuity and filling holes, respectively. In this work, we suggest Recurrent Elastic Warps (REwarp) that address the problem with Dirichlet boundary condition and boost performances by residual learning for recurrent misalign correction. Specifically, REwarp predicts a homography and a Thin-plate Spline (TPS) under the boundary constraint for discontinuity and hole-free image stitching. Our experiments show the favorable aligns and the competitive computational costs of REwarp compared to the existing stitching methods. Our source code is available at https://github.com/minshu-kim/REwarp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google