Dynamic Multimodal Sentiment Analysis: Leveraging Cross-Modal Attention for Enabled Classification

要約

このペーパーでは、テキスト、オーディオ、ビジュアル データを統合して感情分類を強化するマルチモーダル感情分析モデルの開発について検討します。
目標は、これらのモダリティ間の複雑な相互作用を捕捉することで感情検出を改善し、それによってより正確で微妙な感情の解釈を可能にすることです。
この研究では、トランスフォーマーベースのアーキテクチャ内で、後期段階の融合、初期段階の融合、および多頭化注意という 3 つの機能融合戦略を評価しています。
実験は CMU-MOSEI データセットを使用して実施されました。このデータセットには、センチメント スコアでラベル付けされた同期されたテキスト、オーディオ、ビジュアル入力が含まれています。
結果は、初期段階の融合が後期段階の融合より大幅に優れており、71.87\% の精度を達成する一方、多頭注意アプローチではわずかな改善が見られ、72.39\% に達することが示されました。
この調査結果は、プロセスの早い段階でモダリティを統合することでセンチメント分類が強化される一方、現在のフレームワーク内では注意メカニズムの影響が限定的である可能性があることを示唆しています。
今後の作業は、特徴融合技術の改良、時間データの組み込み、モデルのパフォーマンスをさらに向上させるための動的な特徴重み付けの探索に焦点を当てます。

要約(オリジナル)

This paper explores the development of a multimodal sentiment analysis model that integrates text, audio, and visual data to enhance sentiment classification. The goal is to improve emotion detection by capturing the complex interactions between these modalities, thereby enabling more accurate and nuanced sentiment interpretation. The study evaluates three feature fusion strategies — late stage fusion, early stage fusion, and multi-headed attention — within a transformer-based architecture. Experiments were conducted using the CMU-MOSEI dataset, which includes synchronized text, audio, and visual inputs labeled with sentiment scores. Results show that early stage fusion significantly outperforms late stage fusion, achieving an accuracy of 71.87\%, while the multi-headed attention approach offers marginal improvement, reaching 72.39\%. The findings suggest that integrating modalities early in the process enhances sentiment classification, while attention mechanisms may have limited impact within the current framework. Future work will focus on refining feature fusion techniques, incorporating temporal data, and exploring dynamic feature weighting to further improve model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google