Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification

要約

可視赤外人物再同定（VIReID）の鍵は、可視画像と赤外画像のモダリティの不一致をいかに最小化するかにある。既存の手法は主に空間情報を利用し、識別可能な周波数情報を無視している。この問題に対処するため、本論文では周波数領域の観点からモダリティの不一致を低減することを目的とする。具体的には、クロスモダリティ周波数領域情報を探索する新しい周波数領域ニュアンスマイニング（Frequency Domain Nuances Mining：FDNM）法を提案する。これら2つのモジュールは、周波数領域の可視-赤外ニュアンスを共同で探索するために相互に有益であり、それにより周波数領域におけるモダリティの不一致を効果的に低減する。さらに、我々は、ANMモジュールが多様なクロスモダリティのニュアンスを発見する一方で、識別的な同一性情報を保持するように促す、中心誘導型ニュアンスマイニングロスを提案する。我々の知る限り、これはVIReID研究のための潜在的な周波数情報を探求した最初の研究である。広範な実験により、提案するFDNMがVIReIDの性能向上において大きな利点を持つことが示された。具体的には、本手法は、屋内探索モードのSYU-MM01データセットにおいて、Rank-1精度で5.2％、mAPで5.8％、それぞれ2位の手法を上回った。その上、困難な可視赤外顔認識タスクにおいて、本手法の有効性と一般性を検証する。\textcolor{magenta}{コードを公開します。｝

要約(オリジナル)

The key of visible-infrared person re-identification (VIReID) lies in how to minimize the modality discrepancy between visible and infrared images. Existing methods mainly exploit the spatial information while ignoring the discriminative frequency information. To address this issue, this paper aims to reduce the modality discrepancy from the frequency domain perspective. Specifically, we propose a novel Frequency Domain Nuances Mining (FDNM) method to explore the cross-modality frequency domain information, which mainly includes an amplitude guided phase (AGP) module and an amplitude nuances mining (ANM) module. These two modules are mutually beneficial to jointly explore frequency domain visible-infrared nuances, thereby effectively reducing the modality discrepancy in the frequency domain. Besides, we propose a center-guided nuances mining loss to encourage the ANM module to preserve discriminative identity information while discovering diverse cross-modality nuances. To the best of our knowledge, this is the first work that explores the potential frequency information for VIReID research. Extensive experiments show that the proposed FDNM has significant advantages in improving the performance of VIReID. Specifically, our method outperforms the second-best method by 5.2\% in Rank-1 accuracy and 5.8\% in mAP on the SYSU-MM01 dataset under the indoor search mode, respectively. Besides, we also validate the effectiveness and generalization of our method on the challenging visible-infrared face recognition task. \textcolor{magenta}{The code will be available.}

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL