Prototype-Driven Multi-Feature Generation for Visible-Infrared Person Re-identification

要約

可視赤外線による人物の再識別における主な課題は、モード間およびモード内の変動を含む、可視（vis）画像と赤外線（ir）画像の違いから生じます。
これらの課題は、さまざまな視点や不規則な動きによってさらに複雑になります。
既存の方法では、部品レベルの特徴を整列させるために水平分割に依存することが多く、これにより不正確さが生じる可能性があり、モダリティの不一致を軽減する効果が限られています。
この論文では、多様な特徴を構築し、モーダルアライメントのために意味的に類似した潜在的な特徴をマイニングすることにより、クロスモーダルの不一致を軽減することを目的とした、新しいプロトタイプ駆動型マルチ特徴生成フレームワーク (PDM) を提案します。
PDM は、多特徴生成モジュール (MFGM) とプロトタイプ学習モジュール (PLM) という 2 つの主要コンポーネントで構成されます。
MFGM は、歩行者を表すためにモダリティ共有特徴から密に分散された多様性特徴を生成します。
さらに、PLM は学習可能なプロトタイプを利用して、可視モダリティと赤外モダリティの間の局所的特徴間の潜在的な意味的類似性を発掘し、それによってクロスモーダルのインスタンスレベルの調整を容易にします。
豊富な局所特徴を抽出するためのプロトタイプの多様性を強化するために、コサイン不均一性損失を導入します。
SYSU-MM01 および LLCM データセットに対して行われた広範な実験により、私たちのアプローチが最先端のパフォーマンスを達成できることが実証されました。
コードは https://github.com/mmunhappy/ICASSP2025-PDM で入手できます。

要約(オリジナル)

The primary challenges in visible-infrared person re-identification arise from the differences between visible (vis) and infrared (ir) images, including inter-modal and intra-modal variations. These challenges are further complicated by varying viewpoints and irregular movements. Existing methods often rely on horizontal partitioning to align part-level features, which can introduce inaccuracies and have limited effectiveness in reducing modality discrepancies. In this paper, we propose a novel Prototype-Driven Multi-feature generation framework (PDM) aimed at mitigating cross-modal discrepancies by constructing diversified features and mining latent semantically similar features for modal alignment. PDM comprises two key components: Multi-Feature Generation Module (MFGM) and Prototype Learning Module (PLM). The MFGM generates diversity features closely distributed from modality-shared features to represent pedestrians. Additionally, the PLM utilizes learnable prototypes to excavate latent semantic similarities among local features between visible and infrared modalities, thereby facilitating cross-modal instance-level alignment. We introduce the cosine heterogeneity loss to enhance prototype diversity for extracting rich local features. Extensive experiments conducted on the SYSU-MM01 and LLCM datasets demonstrate that our approach achieves state-of-the-art performance. Our codes are available at https://github.com/mmunhappy/ICASSP2025-PDM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google