ABAW: Learning from Synthetic Data & Multi-Task Learning Challenges

要約

本稿では、European Conference on Computer Vision (ECCV), 2022 に合わせて開催された 4th Affective Behavior Analysis in-the-wild (ABAW) Competition について説明する。第4回ABAW Competitionは、IEEE CVPR 2022、ICCV 2021、IEEE FG 2020、IEEE CVPR 2017で開催されたCompetitionを継承し、自動的に感情を分析することを目的としたものである。これまでのコンペティションでは、Valence-Arousal Estimation、Expression Classification、Action Unit Detectionを対象としたチャレンジが開催されました。今年のコンペティションは、2つの異なる課題を含んでいます。i) マルチタスク学習は、上記の3つのタスクを同時に（つまりマルチタスク学習で）学習することを目標とし、ii) 合成データからの学習は、人工的に生成したデータから基本表現を認識し、実データに一般化することを目標とするものです。Aff-Wild2データベースは大規模な野生動物データベースであり、価数や覚醒度、表情、行動単位などのアノテーションを含む最初のデータベースである。このデータベースは、上記のChallengesの基礎となるものである。具体的には、i) s-Aff-Wild2（Aff-Wild2データベースの静的バージョン）を構築し、マルチタスク学習チャレンジのために利用する。 ii) Aff-Wild2データベースからいくつかの特定のフレーム画像を表情操作の方法で利用し、合成データチャレンジのベースとなる合成データを作成する。本論文では、まず2つのチャレンジと利用したコーパスを紹介し、次に評価指標を概説し、最後にチャレンジごとのベースラインシステムとその結果を紹介する。コンペティションに関するより詳細な情報は、コンペティションのウェブサイトhttps://ibug.doc.ic.ac.uk/resources/eccv-2023-4th-abaw/。

要約(オリジナル)

This paper describes the fourth Affective Behavior Analysis in-the-wild (ABAW) Competition, held in conjunction with European Conference on Computer Vision (ECCV), 2022. The 4th ABAW Competition is a continuation of the Competitions held at IEEE CVPR 2022, ICCV 2021, IEEE FG 2020 and IEEE CVPR 2017 Conferences, and aims at automatically analyzing affect. In the previous runs of this Competition, the Challenges targeted Valence-Arousal Estimation, Expression Classification and Action Unit Detection. This year the Competition encompasses two different Challenges: i) a Multi-Task-Learning one in which the goal is to learn at the same time (i.e., in a multi-task learning setting) all the three above mentioned tasks; and ii) a Learning from Synthetic Data one in which the goal is to learn to recognise the basic expressions from artificially generated data and generalise to real data. The Aff-Wild2 database is a large scale in-the-wild database and the first one that contains annotations for valence and arousal, expressions and action units. This database is the basis for the above Challenges. In more detail: i) s-Aff-Wild2 — a static version of Aff-Wild2 database — has been constructed and utilized for the purposes of the Multi-Task-Learning Challenge; and ii) some specific frames-images from the Aff-Wild2 database have been used in an expression manipulation manner for creating the synthetic dataset, which is the basis for the Learning from Synthetic Data Challenge. In this paper, at first we present the two Challenges, along with the utilized corpora, then we outline the evaluation metrics and finally present the baseline systems per Challenge, as well as their derived results. More information regarding the Competition can be found in the competition’s website: https://ibug.doc.ic.ac.uk/resources/eccv-2023-4th-abaw/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL