Part Representation Learning with Teacher-Student Decoder for Occluded Person Re-identification

要約

遮蔽された人物の再識別 (ReID) は、遮蔽障害と不完全なターゲット情報のため、非常に困難なタスクです。
人間のポーズや解析などの外部キューを活用して、パーツの特徴を特定して位置合わせすることは、遮蔽された人物 ReID で非常に効果的であることが証明されています。
一方、最近のトランスフォーマー構造は長距離モデリング能力に優れています。
上記の事実を考慮して、人間による解析の助けを借りて Transformer デコーダを利用する、遮蔽された人物 ReID のための教師学生デコーダ (TSD) フレームワークを提案します。
より具体的には、私たちが提案する TSD は、解析対応教師デコーダー (PTD) と標準学生デコーダー (SSD) で構成されます。
PTD は人間の解析キューを使用して Transformer の注意を制限し、特徴の蒸留を通じてこの情報を SSD に伝えます。
これにより、SSD は PTD から学習して身体部位の情報を自動的に集約することができます。
さらに、マスク ジェネレーターは、R​​eID を向上させるための識別領域を提供するように設計されています。
さらに、既存のオクルージョンされた人物 ReID ベンチマークは、オクルージョンされたサンプルをクエリとして利用するため、オクルージョン干渉を緩和する役割が増幅され、特徴の欠如の問題の影響が過小評価されます。
対照的に、既存のベンチマークを補完するものとして、非オクルージョン クエリを使用した新しいベンチマークを提案します。
広範な実験により、私たちが提案した方法が優れており、新しいベンチマークが不可欠であることが実証されました。
ソース コードは https://github.com/hh23333/TSD で入手できます。

要約(オリジナル)

Occluded person re-identification (ReID) is a very challenging task due to the occlusion disturbance and incomplete target information. Leveraging external cues such as human pose or parsing to locate and align part features has been proven to be very effective in occluded person ReID. Meanwhile, recent Transformer structures have a strong ability of long-range modeling. Considering the above facts, we propose a Teacher-Student Decoder (TSD) framework for occluded person ReID, which utilizes the Transformer decoder with the help of human parsing. More specifically, our proposed TSD consists of a Parsing-aware Teacher Decoder (PTD) and a Standard Student Decoder (SSD). PTD employs human parsing cues to restrict Transformer’s attention and imparts this information to SSD through feature distillation. Thereby, SSD can learn from PTD to aggregate information of body parts automatically. Moreover, a mask generator is designed to provide discriminative regions for better ReID. In addition, existing occluded person ReID benchmarks utilize occluded samples as queries, which will amplify the role of alleviating occlusion interference and underestimate the impact of the feature absence issue. Contrastively, we propose a new benchmark with non-occluded queries, serving as a complement to the existing benchmark. Extensive experiments demonstrate that our proposed method is superior and the new benchmark is essential. The source codes are available at https://github.com/hh23333/TSD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google