SA-DNet: A on-demand semantic object registration network adapting to non-rigid deformation

要約

赤外線画像と可視画像を融合する前の重要な処理ステップとして、画像レジストレーションのパフォーマンスによって、2 つの画像を正しい空間位置で融合できるかどうかが決まります。
実際のシナリオでは、さまざまなイメージング デバイスによって、視点が変化したり、ショット間の時間差が発生したりして、赤外線画像と可視画像の空間関係が明確に固定されていない可能性があります。
多数の特徴点が一致した場合でも、位置合わせの精度が不十分な場合があり、画像融合やその他の視覚タスクの結果に影響を与えます。
この問題を軽減するために、セマンティック アウェア オンデマンド登録ネットワーク (SA-DNet) を提案します。これは主に、セマンティック アウェア モジュール (SAM) を設計することにより、特徴マッチング プロセスをセマンティック領域 (sROI) に限定することを目的としています。
HOL-Deep ハイブリッド マッチング モジュール (HDM)。
TPS を利用して sROI の対応する特徴点に基づいて赤外画像と可視画像を変換した後、登録された画像は画像融合モジュール (IFM) を使用して融合され、完全に機能する登録および融合ネットワークを実現します。
さらに、さまざまな要求に対して、このタイプのアプローチにより、必要に応じて機能マッチング用のセマンティックオブジェクトを選択し、特定の要件に基づいてタスク固有の登録を達成できることを指摘します。
非剛体歪みに対する SA-DNet の堅牢性を実証するために、SA-DNet を 5 つの最先端の赤外線および可視画像特徴マッチング方法と比較することにより広範な実験を行い、実験結果は、私たちの方法がよりよく適応することを示しています。
画像内の非剛性歪みの存在に対応し、意味的に適切に登録された画像を提供します。

要約(オリジナル)

As an essential processing step before the fusing of infrared and visible images, the performance of image registration determines whether the two images can be fused at correct spatial position. In the actual scenario, the varied imaging devices may lead to a change in perspective or time gap between shots, making significant non-rigid spatial relationship in infrared and visible images. Even if a large number of feature points are matched, the registration accuracy may still be inadequate, affecting the result of image fusion and other vision tasks. To alleviate this problem, we propose a Semantic-Aware on-Demand registration network (SA-DNet), which mainly purpose is to confine the feature matching process to the semantic region of interest (sROI) by designing semantic-aware module (SAM) and HOL-Deep hybrid matching module (HDM). After utilizing TPS to transform infrared and visible images based on the corresponding feature points in sROI, the registered images are fused using image fusion module (IFM) to achieve a fully functional registration and fusion network. Moreover, we point out that for different demands, this type of approach allows us to select semantic objects for feature matching as needed and accomplishes task-specific registration based on specific requirements. To demonstrate the robustness of SA-DNet for non-rigid distortions, we conduct extensive experiments by comparing SA-DNet with five state-of-the-art infrared and visible image feature matching methods, and the experimental results show that our method adapts better to the presence of non-rigid distortions in the images and provides semantically well-registered images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google