Uncertain Facial Expression Recognition via Multi-task Assisted Correction

要約

表情認識のディープ モデルは、大規模なラベル付きデータでトレーニングすることにより、高いパフォーマンスを実現します。
ただし、公開されているデータセットには、あいまいな注釈や複雑な感情によって引き起こされる不確かな表情が含まれており、堅牢性が大幅に低下する可能性があります。
以前の研究は通常、さまざまな対応するソースの観点から不確実性の問題を考慮せずに、一般的なタスクでバイアス除去法に従います。
この論文では、MTACと呼ばれる不確実な表情認識に対処するためのマルチタスク支援修正の新しい方法を提案します。
具体的には、信頼度推定ブロックと加重正則化モジュールを適用して、固体サンプルを強調表示し、すべてのバッチで不確実なサンプルを抑制します。
さらに、データ駆動型 AU グラフからセマンティック分布を学習し、それぞれ離散感情と連続感情の間の潜在的な依存関係に基づいてカテゴリの不均衡を軽減するために、2 つの補助タスク、すなわちアクション ユニット検出と原子価覚醒測定が導入されます。
さらに、機能レベルの類似性制約によって導かれる再ラベル付け戦略は、モデル学習を促進するために、識別された不確実なサンプルの新しいラベルをさらに生成します。
提案された方法は、完全に教師ありまたは弱く教師ありの方法で、既存のフレームワークと柔軟に組み合わせることができます。
RAF-DB、AffectNet、および AffWild2 データセットでの実験は、MTAC が合成および実際の不確実性に直面したときにベースラインを大幅に改善し、最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Deep models for facial expression recognition achieve high performance by training on large-scale labeled data. However, publicly available datasets contain uncertain facial expressions caused by ambiguous annotations or confusing emotions, which could severely decline the robustness. Previous studies usually follow the bias elimination method in general tasks without considering the uncertainty problem from the perspective of different corresponding sources. In this paper, we propose a novel method of multi-task assisted correction in addressing uncertain facial expression recognition called MTAC. Specifically, a confidence estimation block and a weighted regularization module are applied to highlight solid samples and suppress uncertain samples in every batch. In addition, two auxiliary tasks, i.e., action unit detection and valence-arousal measurement, are introduced to learn semantic distributions from a data-driven AU graph and mitigate category imbalance based on latent dependencies between discrete and continuous emotions, respectively. Moreover, a re-labeling strategy guided by feature-level similarity constraint further generates new labels for identified uncertain samples to promote model learning. The proposed method can flexibly combine with existing frameworks in a fully-supervised or weakly-supervised manner. Experiments on RAF-DB, AffectNet, and AffWild2 datasets demonstrate that the MTAC obtains substantial improvements over baselines when facing synthetic and real uncertainties and outperforms the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google