Affective Behavior Analysis using Action Unit Relation Graph and Multi-task Cross Attention

要約

顔動作解析は、顔感情認識、年齢認識、性別認識など、様々なカテゴリに分類される幅広いテーマです。多くの研究が個々のタスクに焦点を当てている一方で、マルチタスク学習のアプローチはまだ未解決の研究課題であり、さらなる研究が必要です。本論文では、Affective Behavior Analysis in-the-wild competitionのマルチタスク学習課題に対する我々の解決策と実験結果を示す。本課題は、行動単位検出、表情認識、覚醒度推定の3つのタスクの組み合わせで構成されており、行動単位検出、表情認識、覚醒度推定の3つのタスクは、覚醒度推定と呼ばれる。この課題に対して、我々はマルチタスク学習の性能を向上させるために、交差注意モジュールを導入しています。さらに、行動単位間の関連性を把握するために、顔グラフを適用する。その結果、主催者から提供された検証データにおいて、評価指標128.8を達成し、ベースラインの結果である30を上回った。

要約(オリジナル)

Facial behavior analysis is a broad topic with various categories such as facial emotion recognition, age, and gender recognition. Many studies focus on individual tasks while the multi-task learning approach is still an open research issue and requires more research. In this paper, we present our solution and experiment result for the Multi-Task Learning challenge of the Affective Behavior Analysis in-the-wild competition. The challenge is a combination of three tasks: action unit detection, facial expression recognition, and valance-arousal estimation. To address this challenge, we introduce a cross-attentive module to improve multi-task learning performance. Additionally, a facial graph is applied to capture the association among action units. As a result, we achieve the evaluation measure of 128.8 on the validation data provided by the organizers, which outperforms the baseline result of 30.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL