GEFF: Improving Any Clothes-Changing Person ReID Model using Gallery Enrichment with Face Features

要約

Clothes-Changing Re-Identification (CC-ReID) 問題では、人物のクエリ サンプルが与えられた場合、その人物がさまざまな服を着ているラベル付きギャラリーに基づいて正しい ID を判断することが目標となります。
いくつかのモデルは、衣服に依存しない特徴を抽出することでこの課題に取り組んでいます。
ただし、これらのモデルのパフォーマンスは、ラベル付きギャラリーで人物が同じ服を着て登場する同じ服設定と比較して、着替え設定ではまだ低いです。
多くの場合、衣服関連の特徴がデータ内で支配的な特徴であるため、これらの特徴を利用するために、ギャラリー エンリッチメントと呼ばれる新しいプロセスを提案します。
このプロセスでは、教師なしアルゴリズムを使用して、顔の特徴に基づいてクエリ サンプルを追加することで、元のギャラリーを強化します。
さらに、ReID と顔特徴抽出モジュールを充実したギャラリーと組み合わせることで、顔を含まない新しい服装のクエリ サンプルであっても、より正確な ReID モデルが得られることを示します。
さらに、既存の CC-ReID ベンチマークは現実世界のシナリオを完全には表していないと主張し、混雑したシーンや多数の着替えを含む演劇に基づいた 42Street と呼ばれる新しいビデオ CC-ReID データセットを提案します。
複数の ReID モデルに適用した場合、私たちの方法 (GEFF) は、PRCC および LTCC ベンチマークのトップ 1 着替えメトリクスで平均 33.5% と 6.7% の改善を達成しました。
最新の ReID モデルと組み合わせることで、私たちの手法は PRCC、LTCC、CCVID、LaST、VC-Clothes ベンチマークと提案された 42Street データセットで新しい SOTA 結果を達成しました。

要約(オリジナル)

In the Clothes-Changing Re-Identification (CC-ReID) problem, given a query sample of a person, the goal is to determine the correct identity based on a labeled gallery in which the person appears in different clothes. Several models tackle this challenge by extracting clothes-independent features. However, the performance of these models is still lower for the clothes-changing setting compared to the same-clothes setting in which the person appears with the same clothes in the labeled gallery. As clothing-related features are often dominant features in the data, we propose a new process we call Gallery Enrichment, to utilize these features. In this process, we enrich the original gallery by adding to it query samples based on their face features, using an unsupervised algorithm. Additionally, we show that combining ReID and face feature extraction modules alongside an enriched gallery results in a more accurate ReID model, even for query samples with new outfits that do not include faces. Moreover, we claim that existing CC-ReID benchmarks do not fully represent real-world scenarios, and propose a new video CC-ReID dataset called 42Street, based on a theater play that includes crowded scenes and numerous clothes changes. When applied to multiple ReID models, our method (GEFF) achieves an average improvement of 33.5% and 6.7% in the Top-1 clothes-changing metric on the PRCC and LTCC benchmarks. Combined with the latest ReID models, our method achieves new SOTA results on the PRCC, LTCC, CCVID, LaST and VC-Clothes benchmarks and the proposed 42Street dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google