Enhancing Long-Term Person Re-Identification Using Global, Local Body Part, and Head Streams

要約

この研究は、長期にわたる個人の再識別の課題に取り組んでいます。
通常、人物の再識別は人々が着替えないことを前提としているため、その適用は短期的なシナリオに限定されます。
この制限を克服するために、私たちは、着替えシナリオと服装一貫性シナリオの両方を考慮した長期的な個人の再識別を調査します。
この論文では、グローバル情報とローカル情報の両方を効果的に学習して活用する新しいフレームワークを提案します。
提案されたフレームワークは、グローバル ストリーム、ローカル ボディ パーツ、ヘッド ストリームの 3 つのストリームで構成されます。
グローバル ストリームとヘッド ストリームは、それぞれ画像全体と頭部領域のトリミングされた画像からのアイデンティティ関連情報をエンコードします。
どちらのストリームも、敵対的消去、最大プーリング、および平均プーリングの組み合わせを使用して、最も特徴的な特徴、それほど特徴的でない特徴、および平均的な特徴をエンコードします。
ローカル身体部分ストリームは、各身体部分のアイデンティティ関連情報を抽出し、別の画像の同じ身体部分と比較できるようにします。
身体部分のアノテーションは再識別データセットでは利用できないため、クラスタリングを使用して擬似ラベルが生成されます。
これらのラベルは、ローカルの身体部分ストリームで身体部分セグメンテーション ヘッドをトレーニングするために利用されます。
提案されたフレームワークは、同一性分類損失、ペアベースの損失、および擬似身体部分セグメンテーション損失の重み付き合計を逆伝播することによってトレーニングされます。
提案された方法の有効性を実証するために、公開されている 3 つのデータセット (Celeb-reID、PRCC、VC-Clothes) で実験を実施しました。
実験結果は、提案された方法が以前の最先端の方法よりも優れていることを示しています。

要約(オリジナル)

This work addresses the task of long-term person re-identification. Typically, person re-identification assumes that people do not change their clothes, which limits its applications to short-term scenarios. To overcome this limitation, we investigate long-term person re-identification, which considers both clothes-changing and clothes-consistent scenarios. In this paper, we propose a novel framework that effectively learns and utilizes both global and local information. The proposed framework consists of three streams: global, local body part, and head streams. The global and head streams encode identity-relevant information from an entire image and a cropped image of the head region, respectively. Both streams encode the most distinct, less distinct, and average features using the combinations of adversarial erasing, max pooling, and average pooling. The local body part stream extracts identity-related information for each body part, allowing it to be compared with the same body part from another image. Since body part annotations are not available in re-identification datasets, pseudo-labels are generated using clustering. These labels are then utilized to train a body part segmentation head in the local body part stream. The proposed framework is trained by backpropagating the weighted summation of the identity classification loss, the pair-based loss, and the pseudo body part segmentation loss. To demonstrate the effectiveness of the proposed method, we conducted experiments on three publicly available datasets (Celeb-reID, PRCC, and VC-Clothes). The experimental results demonstrate that the proposed method outperforms the previous state-of-the-art method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google