Pose-disentangled Contrastive Learning for Self-supervised Facial Representation

要約

タイトル：自己教師ありの顔の表現のためのポーズ解離対照的学習

要約：

– 自己教師ありの顔の表現は、大規模なアノテーションされたデータセットに依存せずに顔の理解を実行する能力により、最近注目を集めています。
– しかし、解析的に見ると、現在の対照的な自己教師あり学習（SSL）は、顔の表現を学習するために不十分な成果を出しています。
– 既存の対照的学習（CL）は、ポーズの詳細を描写することができないポーズ不変の特徴を学習する傾向があり、学習性能に悪影響を与えています。これを克服するために、Pose-disentangled Contrastive Learning（PCL）を提案します。
– PCLは、デリケートに設計された直交制限を持つポーズ解離デコーダ（PDD）を用いて、ポーズに関連する特徴を顔に関する特徴から解離します。したがって、ポーズに関連する情報とその他のポーズに関係のない顔の情報は、個々のサブネットワークで処理され、お互いのトレーニングに影響を与えません。
– さらに、同じ画像のデータ拡張に基づくポーズに関連する対照的学習スキームを導入し、さまざまなダウンストリームタスクのためにより効果的な顔に関する表現を提供します。
– 実験結果は、我々の手法が最新のSSL手法を大幅に上回ることを示しています。コードは、 https://github.com/DreamMr/PCL で利用可能です。

要約(オリジナル)

Self-supervised facial representation has recently attracted increasing attention due to its ability to perform face understanding without relying on large-scale annotated datasets heavily. However, analytically, current contrastive-based self-supervised learning (SSL) still performs unsatisfactorily for learning facial representation. More specifically, existing contrastive learning (CL) tends to learn pose-invariant features that cannot depict the pose details of faces, compromising the learning performance. To conquer the above limitation of CL, we propose a novel Pose-disentangled Contrastive Learning (PCL) method for general self-supervised facial representation. Our PCL first devises a pose-disentangled decoder (PDD) with a delicately designed orthogonalizing regulation, which disentangles the pose-related features from the face-aware features; therefore, pose-related and other pose-unrelated facial information could be performed in individual subnetworks and do not affect each other’s training. Furthermore, we introduce a pose-related contrastive learning scheme that learns pose-related information based on data augmentation of the same image, which would deliver more effective face-aware representation for various downstream tasks. We conducted linear evaluation on four challenging downstream facial understanding tasks, ie, facial expression recognition, face recognition, AU detection and head pose estimation. Experimental results demonstrate that our method significantly outperforms state-of-the-art SSL methods. Code is available at https://github.com/DreamMr/PCL}{https://github.com/DreamMr/PCL

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI