Identity-Guided Collaborative Learning for Cloth-Changing Person Reidentification

要約

衣服を変える人物の再識別 (ReID) は、衣服の変化や歩行者の視点/姿勢の変化による大きな特徴の変化の問題に対処することを目的とした、新たに出現した研究トピックです。
追加情報（人体の輪郭スケッチ情報、人体のキーポイント、3D 人体情報など）の導入により大きな進歩が見られましたが、衣服を変える人物 ReID は印象的な歩行者の表現のために依然として課題が残っています。
さらに、人間の意味情報と歩行者の識別情報は十分に調査されていません。
これらの問題を解決するために、私たちは、人間のセマンティクスを最大限に活用し、アイデンティティは不変であり、協調学習を導く、変化する人物 ReID のための新しいアイデンティティ誘導型協調学習スキーム (IGCL) を提案します。
まず、服装注意力と中間レベルの協調学習が採用されている場合に、服装情報によって引き起こされる干渉を合理的に軽減するための新しい服装注意力低下ストリームを設計します。
第二に、人間の意味論的情報を強調し、同じアイデンティティのさまざまなポーズをシミュレートするために、人間の意味論的注意と身体ジグソー ストリームを提案します。
このように、抽出特徴は、背景とは関係のない人間の意味情報に焦点を当てるだけでなく、歩行者のポーズのバリエーションにも適しています。
さらに、歩行者識別強化ストリームは、識別の重要性を強化し、より有利な識別ロバストな特徴を抽出するためにさらに提案される。
最も重要なことは、これらすべてのストリームがエンドツーエンドの統一フレームワークで共同で調査され、そのアイデンティティが最適化のガイドに利用されることです。
5 つの公共の服装人物 ReID データセットに対する広範な実験により、提案された IGCL が SOTA 手法を大幅に上回り、抽出された特徴がより堅牢で識別力があり、服装とは無関係であることが実証されました。

要約(オリジナル)

Cloth-changing person reidentification (ReID) is a newly emerging research topic that is aimed at addressing the issues of large feature variations due to cloth-changing and pedestrian view/pose changes. Although significant progress has been achieved by introducing extra information (e.g., human contour sketching information, human body keypoints, and 3D human information), cloth-changing person ReID is still challenging due to impressionable pedestrian representations. Moreover, human semantic information and pedestrian identity information are not fully explored. To solve these issues, we propose a novel identity-guided collaborative learning scheme (IGCL) for cloth-changing person ReID, where the human semantic is fully utilized and the identity is unchangeable to guide collaborative learning. First, we design a novel clothing attention degradation stream to reasonably reduce the interference caused by clothing information where clothing attention and mid-level collaborative learning are employed. Second, we propose a human semantic attention and body jigsaw stream to highlight the human semantic information and simulate different poses of the same identity. In this way, the extraction features not only focus on human semantic information that is unrelated to the background but also are suitable for pedestrian pose variations. Moreover, a pedestrian identity enhancement stream is further proposed to enhance the identity importance and extract more favorable identity robust features. Most importantly, all these streams are jointly explored in an end-to-end unified framework, and the identity is utilized to guide the optimization. Extensive experiments on five public clothing person ReID datasets demonstrate that the proposed IGCL significantly outperforms SOTA methods and that the extracted feature is more robust, discriminative, and clothing-irrelevant.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google