Exploring Facial Expression Recognition through Semi-Supervised Pretraining and Temporal Modeling

要約

顔表情認識 (FER) は、コンピュータ ビジョンにおいて重要な役割を果たしており、さまざまな分野にわたって広範な用途が見出されています。
このペーパーは、CVPR2024 で開催予定の第 6 回感情行動分析イン・ザ・ワイルド (ABAW) コンペティションに向けた私たちのアプローチを紹介することを目的としています。
顔の表情認識タスクでは、FER データセットのサイズが限られているため、表情認識モデルの一般化能力に課題が生じ、認識パフォーマンスが標準以下になります。
この問題に対処するために、半教師あり学習手法を使用して、ラベルのない顔データの表情カテゴリの擬似ラベルを生成します。
同時に、ラベル付けされた表情サンプルを均一にサンプリングし、データセット内のカテゴリーの不均衡の問題と半教師あり学習におけるデータの偏りの可能性の問題に対処するために、バイアスを軽減したフィードバック学習戦略を実装しました。
さらに、静止画像のみから得られる特徴の制限と偏りをさらに補償するために、隣接する表情画像特徴間の時間的関係を学習してキャプチャするための時間エンコーダーを導入しました。
第 6 回 ABAW コンテストでは、私たちの手法は公式検証セットで優れた結果を達成しました。この結果は、私たちが提案した手法の有効性と競争力を完全に裏付けるものです。

要約(オリジナル)

Facial Expression Recognition (FER) plays a crucial role in computer vision and finds extensive applications across various fields. This paper aims to present our approach for the upcoming 6th Affective Behavior Analysis in-the-Wild (ABAW) competition, scheduled to be held at CVPR2024. In the facial expression recognition task, The limited size of the FER dataset poses a challenge to the expression recognition model’s generalization ability, resulting in subpar recognition performance. To address this problem, we employ a semi-supervised learning technique to generate expression category pseudo-labels for unlabeled face data. At the same time, we uniformly sampled the labeled facial expression samples and implemented a debiased feedback learning strategy to address the problem of category imbalance in the dataset and the possible data bias in semi-supervised learning. Moreover, to further compensate for the limitation and bias of features obtained only from static images, we introduced a Temporal Encoder to learn and capture temporal relationships between neighbouring expression image features. In the 6th ABAW competition, our method achieved outstanding results on the official validation set, a result that fully confirms the effectiveness and competitiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google