Learning Invariance from Generated Variance for Unsupervised Person Re-identification

要約

この作業は、個人の再識別 (ReID) における教師なし表現学習に焦点を当てています。
最近の自己教師あり対照学習法は、同じ画像の 2 つの拡張ビュー間の表現の類似性を最大化することによって不変性を学習します。
ただし、従来のデータ拡張は、id に敏感な ReID タスクでは常に好ましいとは限らない、id 機能の望ましくない歪みを前面に出す可能性があります。
このホワイトペーパーでは、従来のデータ拡張を、対照学習用の拡張ビューを生成することを目的とした敵対的生成ネットワーク (GAN) に置き換えることを提案します。
人物画像をid関連およびid非関連の特徴に分解するために、3Dメッシュ誘導人物画像ジェネレータが提案されています。
id に関係のない空間 (ポーズとカメラ スタイル) でのみ機能する以前の GAN ベースの ReID メソッドから逸脱して、id に関係のない機能と id に関連する機能の両方で GAN ベースの拡張を行います。
さらに、特定の対照的な損失を提案して、ネットワークが id に関連しない拡張と id に関連する拡張から不変性を学習できるようにします。
生成モジュールと対照モジュールを共同でトレーニングすることにより、私たちの方法は、主流の大規模ベンチマークで新しい最先端の教師なし人物 ReID パフォーマンスを達成します。

要約(オリジナル)

This work focuses on unsupervised representation learning in person re-identification (ReID). Recent self-supervised contrastive learning methods learn invariance by maximizing the representation similarity between two augmented views of a same image. However, traditional data augmentation may bring to the fore undesirable distortions on identity features, which is not always favorable in id-sensitive ReID tasks. In this paper, we propose to replace traditional data augmentation with a generative adversarial network (GAN) that is targeted to generate augmented views for contrastive learning. A 3D mesh guided person image generator is proposed to disentangle a person image into id-related and id-unrelated features. Deviating from previous GAN-based ReID methods that only work in id-unrelated space (pose and camera style), we conduct GAN-based augmentation on both id-unrelated and id-related features. We further propose specific contrastive losses to help our network learn invariance from id-unrelated and id-related augmentations. By jointly training the generative and the contrastive modules, our method achieves new state-of-the-art unsupervised person ReID performance on mainstream large-scale benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google