The MuSe 2023 Multimodal Sentiment Analysis Challenge: Mimicked Emotions, Cross-Cultural Humour, and Personalisation

要約

【タイトル】
MuSe 2023マルチモーダル感情分析チャレンジ：模倣された感情、異文化ユーモア、そして個人化

【要約】
・MuSe 2023は、3つの現代的なマルチモーダルな感情と感情分析の問題に対処する共有タスクのセット。
・MuSe-Mimicでは、参加者は3つの連続的な感情を予測する。このサブチャレンジには、ユーザー生成ビデオからなるHume-Vidmimicデータセットが使われる。
・MuSe-Humorでは、Passau Spontaneous Football Coach Humour（Passau-SFCH）データセットの拡張版が提供される。参加者は、異文化環境での自発的なユーモアの存在を予測する。
・MuSe-Personalisationは、Ulm-Trier Social Stress Test（Ulm-TSST）データセットに基づいており、ストレスのある状況での被験者の録音が含まれる。ここでは、興奮とバレンス信号を予測するが、一部のテストラベルが提供され、個人化を容易にする。
・MuSe 2023は、音声・視覚感情認識、自然言語処理、信号処理、健康情報学など、さまざまな研究コミュニティから広範な観客を集めることを目的としている。
・このベースライン論文では、データセット、サブチャレンジ、および提供されるフィーチャーセットを紹介する。競争力のあるベースラインシステムとして、ゲートドリカレントユニット（GRU）- Recurrent Neural Network（RNN）が使用される。
・各サブチャレンジのテストデータセットに対して、MuSe-Mimicでは3つの連続的な強度ターゲットの平均ピアソン相関係数が0.4727、MuSe-HumorではAUC値が0.8310、MuSe-Personalisationの興奮とバレンスのCCC値はそれぞれ0.7482と0.7827である。

要約(オリジナル)

The MuSe 2023 is a set of shared tasks addressing three different contemporary multimodal affect and sentiment analysis problems: In the Mimicked Emotions Sub-Challenge (MuSe-Mimic), participants predict three continuous emotion targets. This sub-challenge utilises the Hume-Vidmimic dataset comprising of user-generated videos. For the Cross-Cultural Humour Detection Sub-Challenge (MuSe-Humour), an extension of the Passau Spontaneous Football Coach Humour (Passau-SFCH) dataset is provided. Participants predict the presence of spontaneous humour in a cross-cultural setting. The Personalisation Sub-Challenge (MuSe-Personalisation) is based on the Ulm-Trier Social Stress Test (Ulm-TSST) dataset, featuring recordings of subjects in a stressed situation. Here, arousal and valence signals are to be predicted, whereas parts of the test labels are made available in order to facilitate personalisation. MuSe 2023 seeks to bring together a broad audience from different research communities such as audio-visual emotion recognition, natural language processing, signal processing, and health informatics. In this baseline paper, we introduce the datasets, sub-challenges, and provided feature sets. As a competitive baseline system, a Gated Recurrent Unit (GRU)-Recurrent Neural Network (RNN) is employed. On the respective sub-challenges’ test datasets, it achieves a mean (across three continuous intensity targets) Pearson’s Correlation Coefficient of .4727 for MuSe-Mimic, an Area Under the Curve (AUC) value of .8310 for MuSe-Humor and Concordance Correlation Coefficient (CCC) values of .7482 for arousal and .7827 for valence in the MuSe-Personalisation sub-challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI