SS-MFAR : Semi-supervised Multi-task Facial Affect Recognition

要約

自動的な感情認識は、教育、ゲーム、ソフトウェア開発、自動車、医療など多くの分野で応用されているが、実世界のデータセットで高い性能を達成することは容易ではない。実環境データセットは合成データセットよりも実世界のシナリオをよく表しているが、合成データセットは不完全なラベルの問題に悩まされている。本論文では、半教師付き学習からヒントを得て、第4回Affective Behavior Analysis in-the-wild (ABAW) 2022 Competitionのマルチタスクラーニングチャレンジに提出したものを紹介する。この課題では、Valence-arousal(VA)推定、表情の6つの基本（怒り、嫌悪、恐怖、幸福、悲しみ、驚き）、中立、「その他」カテゴリへの分類、AU-{1,2,4,6,7,10,12,15,23,24,25,26}の番号が付いた12の行動ユニット（AU）の3つが考えられている。SS-MFARと名付けられた我々の手法は、各タスクに特化した分類器と、各表情クラスに対する適応的な閾値、および不完全なラベルに対する半教師付き学習を備えた深い残差ネットワークを使用するもので、顔面感情認識と顔面表情認識の両方を実現します。ソースコードは https://github.com/1980x/ABAW2022DMACS で公開されています。

要約(オリジナル)

Automatic affect recognition has applications in many areas such as education, gaming, software development, automotives, medical care, etc. but it is non trivial task to achieve appreciable performance on in-the-wild data sets. In-the-wild data sets though represent real-world scenarios better than synthetic data sets, the former ones suffer from the problem of incomplete labels. Inspired by semi-supervised learning, in this paper, we introduce our submission to the Multi-Task-Learning Challenge at the 4th Affective Behavior Analysis in-the-wild (ABAW) 2022 Competition. The three tasks that are considered in this challenge are valence-arousal(VA) estimation, classification of expressions into 6 basic (anger, disgust, fear, happiness, sadness, surprise), neutral, and the ‘other’ category and 12 action units(AU) numbered AU-{1,2,4,6,7,10,12,15,23,24,25,26}. Our method Semi-supervised Multi-task Facial Affect Recognition titled SS-MFAR uses a deep residual network with task specific classifiers for each of the tasks along with adaptive thresholds for each expression class and semi-supervised learning for the incomplete labels. Source code is available at https://github.com/1980x/ABAW2022DMACS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL