MSCMNet: Multi-scale Semantic Correlation Mining for Visible-Infrared Person Re-Identification

要約

可視性のある人の再識別（VI-REID）タスクの主な課題は、一致する目的で異なるモダリティから識別機能を抽出する方法にあります。
既存の井戸は主にモーダルの矛盾を最小限に抑えることに焦点を当てていますが、モダリティ情報を完全に活用することはできません。
この問題を解決するために、マルチスケールのセマンティック相関マイニングネットワーク（MSCMNET）が、複数のスケールでセマンティック機能を包括的に活用し、同時に機能抽出で可能な限り少量のモダリティ情報の損失を減らすために提案されています。
提案されているネットワークには、3つの新しいコンポーネントが含まれています。
第一に、モダリティ情報の効果的な利用を考慮した後、マルチスケール情報相関マイニングブロック（MIMB）は、複数のスケールにわたるセマンティック相関を調査するように設計されています。
第二に、MIMBが利用できるセマンティック情報を豊かにするために、非共有パラメーターを使用した四重層 – ストリーム特徴抽出器（QFE）は、データセットのさまざまな寸法から情報を抽出するように特別に設計されています。
最後に、包括的な機能における情報の矛盾に対処するために、四重層センタートリプレット損失（QCT）がさらに提案されています。
SYSU-MM01、REGDB、およびLLCMデータセットに関する広範な実験は、提案されたMSCMNETが最大の精度を達成することを示しています。

要約(オリジナル)

The main challenge in the Visible-Infrared Person Re-Identification (VI-ReID) task lies in how to extract discriminative features from different modalities for matching purposes. While the existing well works primarily focus on minimizing the modal discrepancies, the modality information can not thoroughly be leveraged. To solve this problem, a Multi-scale Semantic Correlation Mining network (MSCMNet) is proposed to comprehensively exploit semantic features at multiple scales and simultaneously reduce modality information loss as small as possible in feature extraction. The proposed network contains three novel components. Firstly, after taking into account the effective utilization of modality information, the Multi-scale Information Correlation Mining Block (MIMB) is designed to explore semantic correlations across multiple scales. Secondly, in order to enrich the semantic information that MIMB can utilize, a quadruple-stream feature extractor (QFE) with non-shared parameters is specifically designed to extract information from different dimensions of the dataset. Finally, the Quadruple Center Triplet Loss (QCT) is further proposed to address the information discrepancy in the comprehensive features. Extensive experiments on the SYSU-MM01, RegDB, and LLCM datasets demonstrate that the proposed MSCMNet achieves the greatest accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google