要約
目に見える侵入者の再識別（VI-REID）は、捜索救助、インフラ保護、夜間監視などのアプリケーションで重要な役割を果たします。
ただし、モダリティの不一致、照明の変化、頻繁な閉塞により、重大な課題に直面しています。
これらの障害を克服するために、Adaptive Modality Interaction Networkである\ TextBF {Aminet}を提案します。
AMINETは、マルチ粒度機能の抽出を採用して、全身画像と上半身の両方の画像から包括的なID属性をキャプチャし、咬合と背景乱れに対する堅牢性を向上させます。
このモデルは、深いモーダルおよびクロスモーダルアラインメントのインタラクティブな機能融合戦略を統合し、一般化を強化し、RGB-IRモダリティギャップを効果的に橋渡しします。
さらに、Aminetは、堅牢で照明不変の特徴抽出のために位相一致を利用し、適応型マルチスケールカーネルMMDを組み込んで、さまざまなスケール全体の特徴分布を調整します。
ベンチマークデータセットでの広範な実験は、当社のアプローチの有効性を示しており、Sysu-MM01でランク1の精度74.75 \％$を達成し、ベースラインを$ 7.93 \％$で超えて、現在の最先端を3.95 \％$で上回っています。
要約(オリジナル)
Visible-Infrared Person Re-Identification (VI-ReID) plays a crucial role in applications such as search and rescue, infrastructure protection, and nighttime surveillance. However, it faces significant challenges due to modality discrepancies, varying illumination, and frequent occlusions. To overcome these obstacles, we propose \textbf{AMINet}, an Adaptive Modality Interaction Network. AMINet employs multi-granularity feature extraction to capture comprehensive identity attributes from both full-body and upper-body images, improving robustness against occlusions and background clutter. The model integrates an interactive feature fusion strategy for deep intra-modal and cross-modal alignment, enhancing generalization and effectively bridging the RGB-IR modality gap. Furthermore, AMINet utilizes phase congruency for robust, illumination-invariant feature extraction and incorporates an adaptive multi-scale kernel MMD to align feature distributions across varying scales. Extensive experiments on benchmark datasets demonstrate the effectiveness of our approach, achieving a Rank-1 accuracy of $74.75\%$ on SYSU-MM01, surpassing the baseline by $7.93\%$ and outperforming the current state-of-the-art by $3.95\%$.
arxiv情報
| 著者 | Yuheng Jia,Wesley Armour |
| 発行日 | 2025-02-28 15:42:58+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google