Multimodal Feature Extraction and Fusion for Emotional Reaction Intensity Estimation and Expression Classification in Videos with Transformers

要約

タイトル：トランスフォーマーを用いたビデオにおける感情反応強度推定と表現分類のためのマルチモーダル特徴抽出と融合

要約：

– ABAW 2023の2つのサブチャレンジ、感情反応強度（ERI）推定チャレンジおよび表現（Expr）分類チャレンジに向けた解決策を提供する。
– ABAW 2023は、自然環境における感情行動解析の課題に取り組み、人間の感情、感覚、および行動を理解する能力を持つインテリジェントな機械やロボットを作り出すことを最終目標としている。
– 表現分類チャレンジにおいては、分類の課題を効果的に処理する簡単なアプローチを提案する。
– しかし、我々の主要な貢献は、Hume-Reactionデータセットからオーディオおよびビデオのヒントなどのマルチモーダルな特徴を抽出するために使用する多様なモデルとツールの使用にある。
– これらの特徴を研究、分析、および組み合わせることで、マルチモーダルな文脈での感情予測のモデルの精度を大幅に向上させている。
– さらに、我々の手法は、検証データセットにおいてピアソン係数で測定されるベースライン手法を84％上回る、卓越した結果をEmotional Reaction Intensity（ERI）推定チャレンジで達成している。

要約(オリジナル)

In this paper, we present our advanced solutions to the two sub-challenges of Affective Behavior Analysis in the wild (ABAW) 2023: the Emotional Reaction Intensity (ERI) Estimation Challenge and Expression (Expr) Classification Challenge. ABAW 2023 aims to tackle the challenge of affective behavior analysis in natural contexts, with the ultimate goal of creating intelligent machines and robots that possess the ability to comprehend human emotions, feelings, and behaviors. For the Expression Classification Challenge, we propose a streamlined approach that handles the challenges of classification effectively. However, our main contribution lies in our use of diverse models and tools to extract multimodal features such as audio and video cues from the Hume-Reaction dataset. By studying, analyzing, and combining these features, we significantly enhance the model’s accuracy for sentiment prediction in a multimodal context. Furthermore, our method achieves outstanding results on the Emotional Reaction Intensity (ERI) Estimation Challenge, surpassing the baseline method by an impressive 84\% increase, as measured by the Pearson Coefficient, on the validation dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI