PGS: Pose-Guided Supervision for Mitigating Clothes-Changing in Person Re-Identification

要約

人物再識別 (Re-ID) タスクは、監視カメラによる複数の個人の追跡を強化することを目的としています。
テキストベースの人物検索や人物照合など、マルチモーダル タスクの追加サポートを提供します。
Re-ID で直面する重大な課題の中で、最も顕著なものの 1 つは、同じ人物が異なる服装で登場する可能性がある着替えへの対応です。
以前の方法は、衣服データの一貫性の維持と衣服変更データの処理において顕著な進歩を遂げましたが、依然として衣服情報に過度に依存する傾向があり、人間の外観の動的な性質によりパフォーマンスが制限される可能性があります。
この課題を軽減するために、Re-ID タスク内でポーズ ガイダンスを学習するための効果的なフレームワークであるポーズ ガイド付きスーパービジョン (PGS) を提案します。
私たちの PGS は、ヒューマン エンコーダー、ポーズ エンコーダー、および Pose-to-Human Projection モジュール (PHP) の 3 つのモジュールで構成されています。
ポーズ エンコーダ モジュールは凍結された事前トレーニングされたモデルを利用し、ヒューマン エンコーダ モジュール用に事前トレーニングされた人間中心のモデルを微調整します。
私たちの PHP は、複数のプロジェクターを介してポーズ エンコーダー モジュールからヒューマン エンコーダー モジュールにポーズ知識を転送します。
5 つのベンチマーク データセットでの広範な実験を経た私たちのフレームワークは、現在の最先端の手法のパフォーマンスを常に上回っています。
私たちのコードは https://github.com/huyquoctrinh/PGS で入手できます。

要約(オリジナル)

Person Re-Identification (Re-ID) task seeks to enhance the tracking of multiple individuals by surveillance cameras. It provides additional support for multimodal tasks, including text-based person retrieval and human matching. Among the significant challenges faced in Re-ID, one of the most prominent is dealing with clothes-changing, where the same person may appear in different outfits. While previous methods have made notable progress in maintaining clothing data consistency and handling clothing change data, they still tend to rely excessively on clothing information, which can limit performance due to the dynamic nature of human appearances. To mitigate this challenge, we propose the Pose-Guided Supervision (PGS), an effective framework for learning pose guidance within the Re-ID task. Our PGS consists of three modules: a human encoder, a pose encoder, and a Pose-to-Human Projection module (PHP). The pose encoder module utilizes a frozen pre-trained model while we fine-tune a pre-trained human-centric model for the human encoder module. Our PHP transfers pose knowledge from the pose encoder module to the human encoder module through multiple projectors. Our framework, following extensive experimentation on five benchmark datasets, consistently surpasses the performance of current state-of-the-art methods. Our code is available at https://github.com/huyquoctrinh/PGS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google