Shape-centered Representation Learning for Visible-Infrared Person Re-identification

要約

現在の可視赤外線人物再識別 (VI-ReID) 手法は、特徴的な外観特徴の抽出を優先し、モダリティの変化に対する身体形状の自然な抵抗を無視しています。
当初、私たちは形状と外観の特徴を単純に連結することによって、形状の識別能力を評価しました。
ただし、形状特徴の利用には 2 つの未解決の問題が残っています。
1 つは、固有のモダリティの不一致に起因する、生成された赤外線形状の誤差とともに、推論段階での形状特徴抽出のための補助モデルへの依存に関するものです。
もう 1 つの問題は、形状と外観の特徴の間の相関関係が十分に調査されていないことです。
前述の課題に取り組むために、私たちは形状中心表現学習フレームワーク (ScRL) を提案します。これは、形状特徴と形状に関連する外観特徴の学習に焦点を当てています。
具体的には、形状特徴伝播 (SFP) を考案し、推論中の複雑さのコストを最小限に抑えながら、元の画像から形状特徴を直接抽出できるようにします。
特徴レベルで赤外線物体形状の不正確さを復元するために、赤外線形状復元 (ISR) を提案します。
さらに、形状に関連する外観特徴を取得するために、形状特徴に導かれてアイデンティティに関連しない特徴を抑制しながら、アイデンティティに関連する特徴を強調する外観特徴強化（AFE）を設計します。
提案された ScRL の有効性を検証するために、広範な実験が行われます。
顕著な結果を達成し、SYSU-MM01、HITSZ-VCM、RegDB データセットで Rank-1 (mAP) 精度がそれぞれ 76.1%、71.2%、92.4% (72.6%、52.9%、86.7%) に達し、既存の状態を上回りました。
-最先端のメソッド。

要約(オリジナル)

Current Visible-Infrared Person Re-Identification (VI-ReID) methods prioritize extracting distinguishing appearance features, ignoring the natural resistance of body shape against modality changes. Initially, we gauged the discriminative potential of shapes by a straightforward concatenation of shape and appearance features. However, two unresolved issues persist in the utilization of shape features. One pertains to the dependence on auxiliary models for shape feature extraction in the inference phase, along with the errors in generated infrared shapes due to the intrinsic modality disparity. The other issue involves the inadequately explored correlation between shape and appearance features. To tackle the aforementioned challenges, we propose the Shape-centered Representation Learning framework (ScRL), which focuses on learning shape features and appearance features associated with shapes. Specifically, we devise the Shape Feature Propagation (SFP), facilitating direct extraction of shape features from original images with minimal complexity costs during inference. To restitute inaccuracies in infrared body shapes at the feature level, we present the Infrared Shape Restitution (ISR). Furthermore, to acquire appearance features related to shape, we design the Appearance Feature Enhancement (AFE), which accentuates identity-related features while suppressing identity-unrelated features guided by shape features. Extensive experiments are conducted to validate the effectiveness of the proposed ScRL. Achieving remarkable results, the Rank-1 (mAP) accuracy attains 76.1%, 71.2%, 92.4% (72.6%, 52.9%, 86.7%) on the SYSU-MM01, HITSZ-VCM, RegDB datasets respectively, outperforming existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google