Multi-Spectral Image Stitching via Spatial Graph Reasoning

要約

マルチスペクトル画像ステッチングは、赤外線画像と可視画像間の相補性を利用して、堅牢で信頼性の高い広視野 (FOV) シーンを生成します。
このタスクの主な課題は、マルチビュー シーンを位置合わせして統合するために、マルチスペクトル画像間の関係を調査することです。
特徴関係のモデリングにおけるグラフ畳み込みネットワーク (GCN) の強みを利用して、さまざまな視点にわたるマルチスペクトル画像の変形と統合を効果的に蒸留する、空間グラフ推論に基づくマルチスペクトル画像ステッチング手法を提案します。
これを達成するために、同じビュー位置からのマルチスケールの相補的なフィーチャをノードのセットに埋め込みます。
異なるビュー間の対応関係は、強力な高密度特徴埋め込みを通じて学習され、ビュー間のマッチングを利用して内部特徴の不均衡を強化するために相互相関と内部相関の両方が開発されます。
空間次元とチャネル次元に沿った長距離コヒーレンスを導入することで、ピクセル関係とチャネルの相互依存性の相補性が、位置合わせされたマルチビュー フィーチャの再構築を支援し、有益で信頼性の高い広い FOV シーンを生成します。
さらに、私たちは ChaMS という名前の挑戦的なデータセットをリリースします。これは、現実世界と大きな視差を持つ合成セットの両方で構成され、包括的な評価のための新しいオプションを提供します。
広範な実験により、私たちの方法が最先端技術を超えていることが実証されました。

要約(オリジナル)

Multi-spectral image stitching leverages the complementarity between infrared and visible images to generate a robust and reliable wide field-of-view (FOV) scene. The primary challenge of this task is to explore the relations between multi-spectral images for aligning and integrating multi-view scenes. Capitalizing on the strengths of Graph Convolutional Networks (GCNs) in modeling feature relationships, we propose a spatial graph reasoning based multi-spectral image stitching method that effectively distills the deformation and integration of multi-spectral images across different viewpoints. To accomplish this, we embed multi-scale complementary features from the same view position into a set of nodes. The correspondence across different views is learned through powerful dense feature embeddings, where both inter- and intra-correlations are developed to exploit cross-view matching and enhance inner feature disparity. By introducing long-range coherence along spatial and channel dimensions, the complementarity of pixel relations and channel interdependencies aids in the reconstruction of aligned multi-view features, generating informative and reliable wide FOV scenes. Moreover, we release a challenging dataset named ChaMS, comprising both real-world and synthetic sets with significant parallax, providing a new option for comprehensive evaluation. Extensive experiments demonstrate that our method surpasses the state-of-the-arts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google