Modality-Invariant Representation for Infrared and Visible Image Registration

要約

タイトル：赤外線画像と可視光画像の登録のための多様性不変表現
要約：
– 赤外線カメラと可視カメラのマルチモダリティセンシングモジュールは、視野範囲、解像度、相対的位置の違いがあるため、より正確なシーンの認識のために登録する必要がある。
– 通常、手動キャリブレーションに基づく登録が最も広く使用されており、精度を維持するために定期的にキャリブレーションされるが、時間と労力がかかる。
– これらの問題に対処するために、シーン適応型の赤外線と可視光画像の登録を提案する。
– 多モダリティ画像の不一致に対処するために、反転可能な変換プロセスが開発され、赤外線と可視光モダリティの特徴強度と分布を包括的に捉えた多様性不変ドメインを確立する。
– 異なる平面間の変形をシミュレートするためにホモグラフィを使用し、提案された潜在表現から推定された変形を粗視化から細かく修正する階層的フレームワークを開発する。
– そこでは、高度な知覚能力とスパースオフセットの回帰に有効な残差推定と交互相関検索がより正確な対応マッチングを促進する。
– さらに、3つの合成セットと1つの実世界セットを含む、初めての正しく合わない赤外線と可視光画像のデータセットを提供する。
– 広範な実験により、提案手法が状態-of-the-artsに対して有効であり、後続アプリケーションを推進することが証明された。

要約(オリジナル)

Since the differences in viewing range, resolution and relative position, the multi-modality sensing module composed of infrared and visible cameras needs to be registered so as to have more accurate scene perception. In practice, manual calibration-based registration is the most widely used process, and it is regularly calibrated to maintain accuracy, which is time-consuming and labor-intensive. To cope with these problems, we propose a scene-adaptive infrared and visible image registration. Specifically, in regard of the discrepancy between multi-modality images, an invertible translation process is developed to establish a modality-invariant domain, which comprehensively embraces the feature intensity and distribution of both infrared and visible modalities. We employ homography to simulate the deformation between different planes and develop a hierarchical framework to rectify the deformation inferred from the proposed latent representation in a coarse-to-fine manner. For that, the advanced perception ability coupled with the residual estimation conducive to the regression of sparse offsets, and the alternate correlation search facilitates a more accurate correspondence matching. Moreover, we propose the first ground truth available misaligned infrared and visible image dataset, involving three synthetic sets and one real-world set. Extensive experiments validate the effectiveness of the proposed method against the state-of-the-arts, advancing the subsequent applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI