Identity-Sensitive Knowledge Propagation for Cloth-Changing Person Re-identification

要約

近年、着替え中の人物の同一性を照合する着替え人物再識別（CC-ReID）が新たな研究テーマとして浮上している。
ただし、典型的なバイオメトリクス ベースの CC-ReID メソッドでは、多くの場合、人間のバイオメトリクス特性から衣服に関係のない特徴を学習するために、面倒な姿勢または体の部分の推定器が必要になり、計算コストが高くなります。
また、監視画像の解像度が低下するため、パフォーマンスが大幅に制限されます。
上記の制限に対処するために、CC-ReID 用の効果的な Identity-Sensitive Knowledge Propagation フレームワーク (DeSKPro) を提案します。
具体的には、衣服に関係のない空間的注意モジュールが導入され、人間の解析モジュールから知識を取得することにより、衣服の外観の気晴らしを排除します。
解像度の低下の問題を軽減し、人間の顔から身元に敏感な手がかりをマイニングするために、以前の顔の知識を使用して欠落している顔の詳細を復元し、それをより小さなネットワークに伝播することを提案します。
トレーニング後、人間の解析や顔の復元のための余分な計算は不要になります。
広範な実験により、私たちのフレームワークが最先端の方法よりも大幅に優れていることが示されています。
コードは https://github.com/KimbingNg/DeskPro で入手できます。

要約(オリジナル)

Cloth-changing person re-identification (CC-ReID), which aims to match person identities under clothing changes, is a new rising research topic in recent years. However, typical biometrics-based CC-ReID methods often require cumbersome pose or body part estimators to learn cloth-irrelevant features from human biometric traits, which comes with high computational costs. Besides, the performance is significantly limited due to the resolution degradation of surveillance images. To address the above limitations, we propose an effective Identity-Sensitive Knowledge Propagation framework (DeSKPro) for CC-ReID. Specifically, a Cloth-irrelevant Spatial Attention module is introduced to eliminate the distraction of clothing appearance by acquiring knowledge from the human parsing module. To mitigate the resolution degradation issue and mine identity-sensitive cues from human faces, we propose to restore the missing facial details using prior facial knowledge, which is then propagated to a smaller network. After training, the extra computations for human parsing or face restoration are no longer required. Extensive experiments show that our framework outperforms state-of-the-art methods by a large margin. Our code is available at https://github.com/KimbingNg/DeskPro.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google