Latent Distribution Decoupling: A Probabilistic Framework for Uncertainty-Aware Multimodal Emotion Recognition

要約

マルチモーダルマルチラベル感情認識（MMER）は、マルチモーダルデータにおける複数の感情の同時存在を特定することを目指しています。
既存の研究は、主に融合戦略の改善とモダリティへのモデリティへの依存関係のモデリングに焦点を当てています。
ただし、多くの場合、\ textbf {Aleatoricの不確実性}の影響を見落とします。これは、マルチモーダルデータに固有のノイズであり、機能表現に曖昧さを導入することによりモダリティ融合の有効性を妨げます。
この問題に対処し、アレアトリックの不確実性を効果的にモデル化するために、このペーパーでは、潜在的な感情空間確率モデリングの新しい観点から、不確実性認識（LDDU）フレームワークを備えた潜在的な感情分布分解を提案します。
具体的には、感情空間内に対照的な解像度分布メカニズムを導入して、マルチモーダルデータをモデル化し、セマンティックの特徴と不確実性の抽出を可能にします。
さらに、不確実性の分散分布を説明し、分布情報を統合する不確実な融合マルチモーダル法を設計します。
実験結果は、LDDUがCMU-MoseiおよびM $^3 $ EDデータセットで最先端のパフォーマンスを達成し、MMERの不確実性モデリングの重要性を強調していることを示しています。
コードはhttps://github.com/201983290498/lddu\_mmer.gitで入手できます。

要約(オリジナル)

Multimodal multi-label emotion recognition (MMER) aims to identify the concurrent presence of multiple emotions in multimodal data. Existing studies primarily focus on improving fusion strategies and modeling modality-to-label dependencies. However, they often overlook the impact of \textbf{aleatoric uncertainty}, which is the inherent noise in the multimodal data and hinders the effectiveness of modality fusion by introducing ambiguity into feature representations. To address this issue and effectively model aleatoric uncertainty, this paper proposes Latent emotional Distribution Decomposition with Uncertainty perception (LDDU) framework from a novel perspective of latent emotional space probabilistic modeling. Specifically, we introduce a contrastive disentangled distribution mechanism within the emotion space to model the multimodal data, allowing for the extraction of semantic features and uncertainty. Furthermore, we design an uncertainty-aware fusion multimodal method that accounts for the dispersed distribution of uncertainty and integrates distribution information. Experimental results show that LDDU achieves state-of-the-art performance on the CMU-MOSEI and M$^3$ED datasets, highlighting the importance of uncertainty modeling in MMER. Code is available at https://github.com/201983290498/lddu\_mmer.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google