Implicit Discriminative Knowledge Learning for Visible-Infrared Person Re-Identification

要約

可視赤外線人物再識別 (VI-ReID) は、クラス内での大幅な差異と、異なるカメラ間のクロスモーダルの不一致のため、クロスモーダルの歩行者検索タスクは困難です。
既存の研究は主に、モダリティに共有される特徴をマイニングするために、異なるモダリティの画像を統一された空間に埋め込むことに焦点を当てています。
彼らは、モダリティ固有の機能に暗黙的に含まれるアイデンティティを認識した有用な情報を無視しながら、これらの共有機能内で特有の情報のみを求めます。
この問題に対処するために、モダリティ固有の情報に含まれる暗黙的な識別情報を明らかにして活用するための、新しい暗黙的識別知識学習 (IDKL) ネットワークを提案します。
まず、新しいデュアルストリーム ネットワークを使用してモダリティ固有の特徴とモダリティ共有の特徴を抽出します。
次に、モダリティ固有の特徴は、アイデンティティを意識した識別知識を維持しながら、モダリティ スタイルの不一致を減らすために純化されます。
その後、この種の暗黙知がモダリティ共有特徴に抽出され、特徴性が強化されます。
最後に、強化されたモダリティ共有特徴におけるモダリティの不一致を最小限に抑えるために、アライメント損失が提案されます。
複数の公開データセットに対する広範な実験により、最先端の手法に対する IDKL ネットワークの優位性が実証されました。
コードは https://github.com/1KK077/IDKL で入手できます。

要約(オリジナル)

Visible-Infrared Person Re-identification (VI-ReID) is a challenging cross-modal pedestrian retrieval task, due to significant intra-class variations and cross-modal discrepancies among different cameras. Existing works mainly focus on embedding images of different modalities into a unified space to mine modality-shared features. They only seek distinctive information within these shared features, while ignoring the identity-aware useful information that is implicit in the modality-specific features. To address this issue, we propose a novel Implicit Discriminative Knowledge Learning (IDKL) network to uncover and leverage the implicit discriminative information contained within the modality-specific. First, we extract modality-specific and modality-shared features using a novel dual-stream network. Then, the modality-specific features undergo purification to reduce their modality style discrepancies while preserving identity-aware discriminative knowledge. Subsequently, this kind of implicit knowledge is distilled into the modality-shared feature to enhance its distinctiveness. Finally, an alignment loss is proposed to minimize modality discrepancy on enhanced modality-shared features. Extensive experiments on multiple public datasets demonstrate the superiority of IDKL network over the state-of-the-art methods. Code is available at https://github.com/1KK077/IDKL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google