Multi-scale Semantic Correlation Mining for Visible-Infrared Person Re-Identification

要約

可視赤外線人物再識別 (VI-ReID) タスクの主な課題は、照合目的でさまざまなモダリティから識別特徴を抽出する方法にあります。
既存の坑井工事は主にモーダルの不一致を最小限に抑えることに重点を置いていますが、モーダル情報を完全に活用することはできません。
この問題を解決するために、マルチスケール セマンティック相関マイニング ネットワーク (MSCMNet) が提案され、複数のスケールでセマンティック特徴を包括的に活用し、同時に特徴抽出におけるモダリティ情報の損失を可能な限り小さくします。
提案されたネットワークには 3 つの新しいコンポーネントが含まれています。
まず、モダリティ情報の効果的な利用を考慮した上で、マルチスケール情報相関マイニング ブロック (MIMB) は、複数のスケールにわたる意味相関を調査するように設計されています。
次に、MIMB が利用できるセマンティック情報を強化するために、非共有パラメーターを備えたクアドルプル ストリーム特徴抽出器 (QFE) が、データセットのさまざまな次元から情報を抽出するように特別に設計されています。
最後に、包括的な特徴における情報の不一致に対処するために、四重中心トリプレット損失 (QCT) がさらに提案されています。
SYSU-MM01、RegDB、および LLCM データセットに関する広範な実験により、提案された MSCMNet が最高の精度を達成することが実証されました。

要約(オリジナル)

The main challenge in the Visible-Infrared Person Re-Identification (VI-ReID) task lies in how to extract discriminative features from different modalities for matching purposes. While the existing well works primarily focus on minimizing the modal discrepancies, the modality information can not thoroughly be leveraged. To solve this problem, a Multi-scale Semantic Correlation Mining network (MSCMNet) is proposed to comprehensively exploit semantic features at multiple scales and simultaneously reduce modality information loss as small as possible in feature extraction. The proposed network contains three novel components. Firstly, after taking into account the effective utilization of modality information, the Multi-scale Information Correlation Mining Block (MIMB) is designed to explore semantic correlations across multiple scales. Secondly, in order to enrich the semantic information that MIMB can utilize, a quadruple-stream feature extractor (QFE) with non-shared parameters is specifically designed to extract information from different dimensions of the dataset. Finally, the Quadruple Center Triplet Loss (QCT) is further proposed to address the information discrepancy in the comprehensive features. Extensive experiments on the SYSU-MM01, RegDB, and LLCM datasets demonstrate that the proposed MSCMNet achieves the greatest accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google