Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention

要約

感情を理解することは、人間のコミュニケーションの基本的な側面です。
オーディオとビデオの信号を統合することで、音声や表情などの単一のデータソースに依存する従来の方法と比較して、感情状態をより包括的に理解することができます。
その可能性にもかかわらず、マルチモーダル感情認識は、特に同期、特徴抽出、多様なデータソースの融合において、重大な課題に直面しています。
これらの問題に対処するために、このホワイトペーパーでは、Cross Atterness（AVT-CA）を備えたAudio-Video Transformer Fusionという名前の新しい変圧器ベースのモデルを紹介します。
AVT-CAモデルは、トランスフュージョンアプローチを採用して、オーディオ入力とビデオ入力の両方から相互リンクされた機能を効果的にキャプチャして同期し、同期の問題を解決します。
さらに、AVT-CA内の交差注意メカニズムは、重要な特徴を選択的に抽出し、強調しながら、無関係な機能を両方のモダリティから破棄し、特徴の抽出と融合の課題に対処します。
CMU-Mosei、Ravdess、およびCREMA-Dデータセットで実施された広範な実験分析は、提案されたモデルの有効性を示しています。
結果は、実用的なアプリケーションのための正確で信頼性の高いマルチモーダル感情認識システムの開発におけるAVT-CAの重要性を強調しています。

要約(オリジナル)

Understanding emotions is a fundamental aspect of human communication. Integrating audio and video signals offers a more comprehensive understanding of emotional states compared to traditional methods that rely on a single data source, such as speech or facial expressions. Despite its potential, multimodal emotion recognition faces significant challenges, particularly in synchronization, feature extraction, and fusion of diverse data sources. To address these issues, this paper introduces a novel transformer-based model named Audio-Video Transformer Fusion with Cross Attention (AVT-CA). The AVT-CA model employs a transformer fusion approach to effectively capture and synchronize interlinked features from both audio and video inputs, thereby resolving synchronization problems. Additionally, the Cross Attention mechanism within AVT-CA selectively extracts and emphasizes critical features while discarding irrelevant ones from both modalities, addressing feature extraction and fusion challenges. Extensive experimental analysis conducted on the CMU-MOSEI, RAVDESS and CREMA-D datasets demonstrates the efficacy of the proposed model. The results underscore the importance of AVT-CA in developing precise and reliable multimodal emotion recognition systems for practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google