Hybrid Multimodal Feature Extraction, Mining and Fusion for Sentiment Analysis

要約

このホワイト ペーパーでは、MuSe-Humor、MuSe-Reaction、MuSe-Stress サブチャレンジを含む Multimodal Sentiment Analysis Challenge (MuSe) 2022 のソリューションを紹介します。
MuSe 2022 は、さまざまなモダリティとデータセットを利用して、ユーモアの検出、感情的な反応、マルチモーダルな感情的ストレスに焦点を当てています。
私たちの仕事では、音響、視覚、テキスト、生物学的特徴など、さまざまな種類のマルチモーダル特徴が抽出されます。
これらの機能は、TEMMA と GRU によって自己注意メカニズム フレームワークと融合されています。
この論文では、1) いくつかの新しいオーディオ機能、表情機能、および段落レベルのテキスト埋め込みが精度向上のために抽出されます。
2) マルチモーダル機能をマイニングおよびブレンドすることにより、マルチモーダル感情予測の精度と信頼性を大幅に向上させます。
3) サンプルの不均衡の問題を軽減し、モデルが偏った対象の文字を学習するのを防ぐために、効果的なデータ拡張戦略がモデルのトレーニングに適用されます。
MuSe-Humor サブチャレンジでは、モデルは 0.8932 の AUC スコアを取得します。
MuSe-Reaction サブチャレンジでは、テスト セットに対するアプローチのピアソンの相関係数は 0.3879 で、他のすべての参加者よりも優れています。
MuSe-Stress サブチャレンジでは、テスト データセットの覚醒と価数の両方でベースラインを上回り、最終的な合計結果は 0.5151 に達しました。

要約(オリジナル)

In this paper, we present our solutions for the Multimodal Sentiment Analysis Challenge (MuSe) 2022, which includes MuSe-Humor, MuSe-Reaction and MuSe-Stress Sub-challenges. The MuSe 2022 focuses on humor detection, emotional reactions and multimodal emotional stress utilizing different modalities and data sets. In our work, different kinds of multimodal features are extracted, including acoustic, visual, text and biological features. These features are fused by TEMMA and GRU with self-attention mechanism frameworks. In this paper, 1) several new audio features, facial expression features and paragraph-level text embeddings are extracted for accuracy improvement. 2) we substantially improve the accuracy and reliability of multimodal sentiment prediction by mining and blending the multimodal features. 3) effective data augmentation strategies are applied in model training to alleviate the problem of sample imbalance and prevent the model from learning biased subject characters. For the MuSe-Humor sub-challenge, our model obtains the AUC score of 0.8932. For the MuSe-Reaction sub-challenge, the Pearson’s Correlations Coefficient of our approach on the test set is 0.3879, which outperforms all other participants. For the MuSe-Stress sub-challenge, our approach outperforms the baseline in both arousal and valence on the test dataset, reaching a final combined result of 0.5151.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google