Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention

要約

感情を理解することは、人間のコミュニケーションの基本的な側面です。
オーディオ信号とビデオ信号を統合すると、音声や表情などの単一のデータ ソースに依存する従来の方法と比較して、感情状態をより包括的に理解できます。
マルチモーダル感情認識は、その可能性にもかかわらず、特に同期、特徴抽出、多様なデータソースの融合において大きな課題に直面しています。
これらの問題に対処するために、このペーパーでは、Audio-Video Transformer Fusion with Cross Attendant (AVT-CA) という名前の新しいトランスフォーマー ベースのモデルを紹介します。
AVT-CA モデルは、トランス フュージョン アプローチを採用して、オーディオ入力とビデオ入力の両方から相互リンクされた機能を効果的にキャプチャして同期し、それによって同期の問題を解決します。
さらに、AVT-CA 内のクロス アテンション メカニズムは、両方のモダリティから無関係な特徴を破棄しながら、重要な特徴を選択的に抽出して強調し、特徴抽出と融合の課題に対処します。
CMU-MOSEI、RAVDESS、CREMA-D データセットに対して行われた広範な実験解析により、提案されたモデルの有効性が実証されました。
この結果は、実用的なアプリケーション向けの正確で信頼性の高いマルチモーダル感情認識システムの開発における AVT-CA の重要性を強調しています。

要約(オリジナル)

Understanding emotions is a fundamental aspect of human communication. Integrating audio and video signals offers a more comprehensive understanding of emotional states compared to traditional methods that rely on a single data source, such as speech or facial expressions. Despite its potential, multimodal emotion recognition faces significant challenges, particularly in synchronization, feature extraction, and fusion of diverse data sources. To address these issues, this paper introduces a novel transformer-based model named Audio-Video Transformer Fusion with Cross Attention (AVT-CA). The AVT-CA model employs a transformer fusion approach to effectively capture and synchronize interlinked features from both audio and video inputs, thereby resolving synchronization problems. Additionally, the Cross Attention mechanism within AVT-CA selectively extracts and emphasizes critical features while discarding irrelevant ones from both modalities, addressing feature extraction and fusion challenges. Extensive experimental analysis conducted on the CMU-MOSEI, RAVDESS and CREMA-D datasets demonstrates the efficacy of the proposed model. The results underscore the importance of AVT-CA in developing precise and reliable multimodal emotion recognition systems for practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google