Identity-Guided Collaborative Learning for Cloth-Changing Person Reidentification

要約

タイトル：衣服変化による人物再識別のためのアイデンティティガイドされた共同学習

要約：
– 衣服変化による人物再識別（ReID）は、衣服変化や歩行者の視点/ポーズの変化による大きな特徴の変動の問題を解決することを目的とした新興の研究トピックである。
– これまでに、追加情報（例：人体の輪郭のスケッチ情報、人体キーポイント、3D人体情報など）を導入することで、衣服変化による人物再識別にはかなりの進歩が見られる。しかし、人物の表現が多様性があるため、衣服変化による人物再識別はまだ困難である。
– さらに、人間の意味情報や歩行者のアイデンティティ情報が十分に探索されていない。これらの問題を解決するために、本研究は、人間の意味情報をフルに活用し、アイデンティティを不変のものとして共同学習をガイドする革新的なアイデンティティガイドされた共同学習スキーム（IGCL）を提案している。
– 最初に、衣服情報による干渉を合理的に減らすために、衣服の注目点と中間レベルの共同学習を使用した衣服注目点劣化ストリームを新たに設計する。
– 次に、人間の意味情報を強調し、同一のアイデンティティの異なるポーズをシミュレートするための人間の意味注目ストリームとボディジグソーストリームを提案する。このように、抽出された特徴はバックグラウンドに関係のない人間の意味情報に焦点を当て、歩行者のポーズの変化にも適している。
– さらに、歩行者のアイデンティティ強化ストリームを提案して、アイデンティティの重要性を高め、より望ましいアイデンティティの強固な特徴を抽出する。
– また、これらのストリームはすべてエンドツーエンドの統合フレームワークで共同探索され、アイデンティティは最適化をガイドするために利用される。
– 5つの公共の衣服人物再識別データセットに対する豊富な実験により、提案されたIGCLはSOTA方法を大幅に上回り、抽出された特徴はより強固で識別力があり、衣服に関係なくなっていることが示された。

要約(オリジナル)

Cloth-changing person reidentification (ReID) is a newly emerging research topic that is aimed at addressing the issues of large feature variations due to cloth-changing and pedestrian view/pose changes. Although significant progress has been achieved by introducing extra information (e.g., human contour sketching information, human body keypoints, and 3D human information), cloth-changing person ReID is still challenging due to impressionable pedestrian representations. Moreover, human semantic information and pedestrian identity information are not fully explored. To solve these issues, we propose a novel identity-guided collaborative learning scheme (IGCL) for cloth-changing person ReID, where the human semantic is fully utilized and the identity is unchangeable to guide collaborative learning. First, we design a novel clothing attention degradation stream to reasonably reduce the interference caused by clothing information where clothing attention and mid-level collaborative learning are employed. Second, we propose a human semantic attention and body jigsaw stream to highlight the human semantic information and simulate different poses of the same identity. In this way, the extraction features not only focus on human semantic information that is unrelated to the background but also are suitable for pedestrian pose variations. Moreover, a pedestrian identity enhancement stream is further proposed to enhance the identity importance and extract more favorable identity robust features. Most importantly, all these streams are jointly explored in an end-to-end unified framework, and the identity is utilized to guide the optimization. Extensive experiments on five public clothing person ReID datasets demonstrate that the proposed IGCL significantly outperforms SOTA methods and that the extracted feature is more robust, discriminative, and clothing-irrelevant.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI