Exploiting Diverse Feature for Multimodal Sentiment Analysis

要約

このペーパーでは、MuSe 2023 マルチモーダル感情分析チャレンジの MuSe-Personalisation サブチャレンジに対するソリューションを紹介します。
MuSe パーソナライゼーションのタスクは、参加者の視聴覚、言語、および生理学的信号モダリティ データに基づいて、参加者の継続的な覚醒値と価数を予測することを目的としています。
さまざまな人には個人的な特徴があることを考慮すると、このタスクの主な課題は、感情予測のための堅牢性特徴のプレゼンテーションを構築する方法です。
この問題に対処するために、私たちはさまざまな機能を活用することを提案します。
具体的には、堅牢な表現とモデルアンサンブルを構築するための一連の特徴抽出方法を提案しました。
公式に提供されたデータセット上で利用されたメソッドのパフォーマンスを経験的に評価します。
\textbf{その結果、MuSe-Personalisation サブチャレンジで 3 位を獲得しました。} 具体的には、覚醒 CCC と価数 CCC に関して、MuSe-Personalisation で 0.8492 と 0.8439 という結果を達成しました。

要約(オリジナル)

In this paper, we present our solution to the MuSe-Personalisation sub-challenge in the MuSe 2023 Multimodal Sentiment Analysis Challenge. The task of MuSe-Personalisation aims to predict the continuous arousal and valence values of a participant based on their audio-visual, language, and physiological signal modalities data. Considering different people have personal characteristics, the main challenge of this task is how to build robustness feature presentation for sentiment prediction. To address this issue, we propose exploiting diverse features. Specifically, we proposed a series of feature extraction methods to build a robust representation and model ensemble. We empirically evaluate the performance of the utilized method on the officially provided dataset. \textbf{As a result, we achieved 3rd place in the MuSe-Personalisation sub-challenge.} Specifically, we achieve the results of 0.8492 and 0.8439 for MuSe-Personalisation in terms of arousal and valence CCC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google