Exploring Fine-Grained Representation and Recomposition for Cloth-Changing Person Re-Identification

要約

着替え人物の再識別 (Re-ID) は、アイデンティティ関連の特徴が劣っていることと、トレーニング サンプルが限られているという 2 つの制限があるため、特に困難なタスクです。
既存の方法は主に補助情報を活用して、形状や歩き方のソフトバイオメトリクス特徴、衣服の追加ラベルなどの識別特徴学習を促進します。
ただし、これらの情報は実際のアプリケーションでは利用できない場合があります。
この論文では、補助情報なしで両方の制限に対処するための新しいファイングレイン表現と再構成 (FIRe$^{2}$) フレームワークを提案します。
具体的には、まず、各人物の画像を個別にクラスタリングするための細粒度特徴マイニング (FFM) モジュールを設計します。
いわゆる細かい属性（服装や視点など）が似ている画像は、一緒にクラスター化することが推奨されます。
属性を意識した分類損失は、異なる人々の間で共有されないクラスター ラベルに基づいて詳細な学習を実行するために導入され、アイデンティティ関連の特徴を学習するモデルを促進します。
さらに、クラスター化されたきめの細かい属性を最大限に活用することで、潜在空間内のさまざまな属性を持つ画像特徴を再構成するためのきめの細かい属性再構成 (FAR) モジュールを提供します。
これにより、堅牢な特徴学習のための表現が大幅に強化されます。
広範な実験により、FIRe$^{2}$ が、広く使用されている 5 つの着替え人物 Re-ID ベンチマークで最先端のパフォーマンスを達成できることが実証されました。

要約(オリジナル)

Cloth-changing person Re-IDentification (Re-ID) is a particularly challenging task, suffering from two limitations of inferior identity-relevant features and limited training samples. Existing methods mainly leverage auxiliary information to facilitate discriminative feature learning, including soft-biometrics features of shapes and gaits, and additional labels of clothing. However, these information may be unavailable in real-world applications. In this paper, we propose a novel FIne-grained Representation and Recomposition (FIRe$^{2}$) framework to tackle both limitations without any auxiliary information. Specifically, we first design a Fine-grained Feature Mining (FFM) module to separately cluster images of each person. Images with similar so-called fine-grained attributes (e.g., clothes and viewpoints) are encouraged to cluster together. An attribute-aware classification loss is introduced to perform fine-grained learning based on cluster labels, which are not shared among different people, promoting the model to learn identity-relevant features. Furthermore, by taking full advantage of the clustered fine-grained attributes, we present a Fine-grained Attribute Recomposition (FAR) module to recompose image features with different attributes in the latent space. It can significantly enhance representations for robust feature learning. Extensive experiments demonstrate that FIRe$^{2}$ can achieve state-of-the-art performance on five widely-used cloth-changing person Re-ID benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google