Modification Takes Courage: Seamless Image Stitching via Reference-Driven Inpainting

要約

現在の画像ステッチング方法では、不均一な色相や大きな視差などの困難なシナリオでは、継ぎ目が目立つことがよくあります。
この問題に取り組むために、我々は参照駆動修復スティッチャー (RDIStitcher) を提案します。これは、画像の融合と四角形を参照ベースの修復モデルとして再定式化し、以前の方法よりも大きな修正融合領域と強力な修正強度を組み込みます。
さらに、自己教師ありモデル トレーニング手法を導入します。これにより、Text-to-Image (T2I) 拡散モデルを微調整することで、ラベル付きデータを必要とせずに RDIStitcher の実装が可能になります。
ステッチされた画像の品質を評価することの難しさを認識し、マルチモーダル大規模言語モデル (MLLM) ベースのメトリクスを提示し、ステッチされた画像の品質を評価するための新しい視点を提供します。
最先端の (SOTA) 方法と比較して、広範な実験により、私たちの方法がコンテンツの一貫性とステッチされた画像のシームレスな遷移を大幅に強化することが実証されています。
特にゼロショット実験では、私たちの方法は強力な一般化機能を示します。
コード: https://github.com/yayoyo66/RDIStitcher

要約(オリジナル)

Current image stitching methods often produce noticeable seams in challenging scenarios such as uneven hue and large parallax. To tackle this problem, we propose the Reference-Driven Inpainting Stitcher (RDIStitcher), which reformulates the image fusion and rectangling as a reference-based inpainting model, incorporating a larger modification fusion area and stronger modification intensity than previous methods. Furthermore, we introduce a self-supervised model training method, which enables the implementation of RDIStitcher without requiring labeled data by fine-tuning a Text-to-Image (T2I) diffusion model. Recognizing difficulties in assessing the quality of stitched images, we present the Multimodal Large Language Models (MLLMs)-based metrics, offering a new perspective on evaluating stitched image quality. Compared to the state-of-the-art (SOTA) method, extensive experiments demonstrate that our method significantly enhances content coherence and seamless transitions in the stitched images. Especially in the zero-shot experiments, our method exhibits strong generalization capabilities. Code: https://github.com/yayoyo66/RDIStitcher

arxiv情報

提供元, 利用サービス

arxiv.jp, Google