Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers

要約

表現学習と特徴のもつれの解き方は、最近、顔の表情認識において多くの研究の関心を集めています。
感情ラベルの遍在的な曖昧さは、従来の教師あり表現学習に基づく方法にとって有害で​​す。
一方、顔の表情画像から感情ラベルへのマッピングを直接学習するには、顔の詳細に関する明示的な監視信号が不足します。
この論文では、ポーカー フェイス ビジョン トランスフォーマー (PF-ViT) と呼ばれる新しい FER モデルを提案します。これは、ペアの画像を必要とせずに、対応するポーカー フェイスを生成することで、静的な顔画像から外乱に依存しない感情を分離して認識します。
ここでは、表情豊かな顔は、顔動作コーディング システムに触発され、ポーカー フェイス (つまり、無感情な顔) 上の一連の顔の筋肉の動きの総合的な結果であると見なされます。
提案された PF-ViT はバニラのビジョン トランスフォーマーを活用し、感情ラベルのない大規模な表情データセットでマスクされたオートエンコーダーとして最初に事前トレーニングされ、優れた表現を取得します。
これは主に 5 つのコンポーネントで構成されます: 1) 顔の表情を完全な表現にマッピングするエンコーダー、2) 表現を感情的な要素と直交する剰余に分解するセパレーター、3) 表情豊かな顔を再構築してポーカーを合成できるジェネレーター
顔、4) エンコーダとジェネレータで敵対的に訓練された、ジェネレータによって生成された偽の顔を区別する識別器、5) 感情を認識する分類ヘッド。
定量的および定性的な結果は、当社の手法の有効性を示しており、4 つの人気のある FER テスト セットにおける最先端の手法を上回っています。

要約(オリジナル)

Representation learning and feature disentanglement have recently attracted much research interests in facial expression recognition. The ubiquitous ambiguity of emotion labels is detrimental to those methods based on conventional supervised representation learning. Meanwhile, directly learning the mapping from a facial expression image to an emotion label lacks explicit supervision signals of facial details. In this paper, we propose a novel FER model, called Poker Face Vision Transformer or PF-ViT, to separate and recognize the disturbance-agnostic emotion from a static facial image via generating its corresponding poker face without the need for paired images. Here, we regard an expressive face as the comprehensive result of a set of facial muscle movements on one’s poker face (i.e., emotionless face), inspired by Facial Action Coding System. The proposed PF-ViT leverages vanilla Vision Transformers, and are firstly pre-trained as Masked Autoencoders on a large facial expression dataset without emotion labels, obtaining excellent representations. It mainly consists of five components: 1) an encoder mapping the facial expression to a complete representation, 2) a separator decomposing the representation into an emotional component and an orthogonal residue, 3) a generator that can reconstruct the expressive face and synthesize the poker face, 4) a discriminator distinguishing the fake face produced by the generator, trained adversarially with the encoder and generator, 5) a classification head recognizing the emotion. Quantitative and qualitative results demonstrate the effectiveness of our method, which trumps the state-of-the-art methods on four popular FER testing sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google