Towards Robust Multimodal Sentiment Analysis with Incomplete Data

要約

マルチモーダル感情分析(MSA)の分野では最近、データの不完全性という問題に取り組む方向性が出てきている。我々は、言語モダリティが一般的に濃密なセンチメント情報を含んでいることを認識し、それを支配的なモダリティとみなし、ロバストなMSAを実現するための革新的な言語支配型ノイズ耐性学習ネットワーク（LNLN）を提案する。提案するLNLNは、ドミナントモダリティ補正(DMC)モジュールと、ドミナントモダリティに基づくマルチモーダル学習(DMML)モジュールを備え、ドミナントモダリティ表現の品質を保証することで、様々なノイズシナリオに対するモデルの頑健性を高める。方法論的な設計はさておき、我々は、いくつかの一般的なデータセット（例えば、MOSI、MOSEI、SIMS）を用いて、多様で意味のある設定を利用し、ランダムなデータ欠損シナリオの下で包括的な実験を行い、文献における既存の評価と比較して、さらなる均一性、透明性、公平性を提供する。経験的に、LNLNは一貫して既存のベースラインを上回り、これらの困難で広範な評価指標にわたって優れた性能を実証しています。

要約(オリジナル)

The field of Multimodal Sentiment Analysis (MSA) has recently witnessed an emerging direction seeking to tackle the issue of data incompleteness. Recognizing that the language modality typically contains dense sentiment information, we consider it as the dominant modality and present an innovative Language-dominated Noise-resistant Learning Network (LNLN) to achieve robust MSA. The proposed LNLN features a dominant modality correction (DMC) module and dominant modality based multimodal learning (DMML) module, which enhances the model’s robustness across various noise scenarios by ensuring the quality of dominant modality representations. Aside from the methodical design, we perform comprehensive experiments under random data missing scenarios, utilizing diverse and meaningful settings on several popular datasets (\textit{e.g.,} MOSI, MOSEI, and SIMS), providing additional uniformity, transparency, and fairness compared to existing evaluations in the literature. Empirically, LNLN consistently outperforms existing baselines, demonstrating superior performance across these challenging and extensive evaluation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL