Modality Unifying Network for Visible-Infrared Person Re-Identification

要約

可視赤外線人物再識別 (VI-ReID) は、モダリティ間の大きな不一致とクラス内変動があるため、困難なタスクです。
既存の方法は主に、異なるモダリティを同じ特徴空間に埋め込むことによってモダリティ共有表現を学習することに焦点を当てています。
その結果、学習された特徴は、Re-ID にとって貴重なモダリティ固有の情報やアイデンティティを意識した情報を抑制しながら、モダリティ間の共通パターンを強調します。
これらの問題に対処するために、我々は VI-ReID の堅牢な補助モダリティを探索するための新しいモダリティ統合ネットワーク (MUN) を提案します。
まず、提案されたクロスモダリティ学習器とモダリティ内学習器を組み合わせることによって補助モダリティが生成されます。これにより、モダリティ固有の表現とモダリティ共有表現を動的にモデル化して、クロスモダリティとモダリティ内の変動の両方を軽減できます。
第 2 に、3 つのモダリティにわたってアイデンティティ中心を整列させることにより、識別特徴表現を発見するためのアイデンティティ整列損失関数が提案されます。
第三に、モダリティのプロトタイプモデリングによって可視画像と赤外画像の配信距離を一貫して短縮するために、モダリティアライメント損失が導入されます。
複数の公開データセットに対する広範な実験により、提案された方法が現在の最先端の方法を大幅に上回ることが実証されました。

要約(オリジナル)

Visible-infrared person re-identification (VI-ReID) is a challenging task due to large cross-modality discrepancies and intra-class variations. Existing methods mainly focus on learning modality-shared representations by embedding different modalities into the same feature space. As a result, the learned feature emphasizes the common patterns across modalities while suppressing modality-specific and identity-aware information that is valuable for Re-ID. To address these issues, we propose a novel Modality Unifying Network (MUN) to explore a robust auxiliary modality for VI-ReID. First, the auxiliary modality is generated by combining the proposed cross-modality learner and intra-modality learner, which can dynamically model the modality-specific and modality-shared representations to alleviate both cross-modality and intra-modality variations. Second, by aligning identity centres across the three modalities, an identity alignment loss function is proposed to discover the discriminative feature representations. Third, a modality alignment loss is introduced to consistently reduce the distribution distance of visible and infrared images by modality prototype modeling. Extensive experiments on multiple public datasets demonstrate that the proposed method surpasses the current state-of-the-art methods by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google