PowMix: A Versatile Regularizer for Multimodal Sentiment Analysis

要約

マルチモーダル感情分析 (MSA) は、異種データ ソースを活用して人間の感情の複雑な性質を解釈します。
マルチモーダル アーキテクチャ設計における大きな進歩にもかかわらず、この分野には包括的な正則化手法が不足しています。
このペーパーでは、ユニモーダル混合ベースの正則化アプローチの長所を基盤として構築され、特にマルチモーダル タスクに合わせた新しいアルゴリズム コンポーネントを導入する多用途の埋め込み空間正則化装置である PowMix について紹介します。
PowMix は、マルチモーダル アーキテクチャの融合段階の前に統合され、テキストとテキストの混合など、モーダル内の混合を容易にして、正則化機能として機能します。
PowMix は、1) 生成されるさまざまな数の混合サンプル、2) 混合係数の再重み付け、3) 異方性混合、4) 動的混合、5) クロスモーダル ラベル混合の 5 つのコンポーネントで構成されます。
ベンチマーク MSA データセットと広範囲にわたる多様なアーキテクチャ設計にわたる広範な実験により、ベースラインや既存の混合方法と比べて一貫したパフォーマンスの向上が証明されているように、PowMix の有効性が証明されています。
詳細なアブレーション研究により、PowMix の各コンポーネントの重要な貢献と、それらがどのように相乗的にパフォーマンスを向上させるかが明らかになります。
さらに、アルゴリズム分析では、さまざまなシナリオで PowMix がどのように動作するかを示し、特に初期と後期の融合アーキテクチャを比較します。
特に、PowMix は、モデルの堅牢性を犠牲にしたり、テキストの優位性を拡大したりすることなく、全体的なパフォーマンスを向上させます。
また、データが限られている状況でも強力なパフォーマンスを維持します。
私たちの調査結果では、PowMix は MSA 向けの有望な多用途正則化戦略として位置づけられています。
コードが利用可能になります。

要約(オリジナル)

Multimodal sentiment analysis (MSA) leverages heterogeneous data sources to interpret the complex nature of human sentiments. Despite significant progress in multimodal architecture design, the field lacks comprehensive regularization methods. This paper introduces PowMix, a versatile embedding space regularizer that builds upon the strengths of unimodal mixing-based regularization approaches and introduces novel algorithmic components that are specifically tailored to multimodal tasks. PowMix is integrated before the fusion stage of multimodal architectures and facilitates intra-modal mixing, such as mixing text with text, to act as a regularizer. PowMix consists of five components: 1) a varying number of generated mixed examples, 2) mixing factor reweighting, 3) anisotropic mixing, 4) dynamic mixing, and 5) cross-modal label mixing. Extensive experimentation across benchmark MSA datasets and a broad spectrum of diverse architectural designs demonstrate the efficacy of PowMix, as evidenced by consistent performance improvements over baselines and existing mixing methods. An in-depth ablation study highlights the critical contribution of each PowMix component and how they synergistically enhance performance. Furthermore, algorithmic analysis demonstrates how PowMix behaves in different scenarios, particularly comparing early versus late fusion architectures. Notably, PowMix enhances overall performance without sacrificing model robustness or magnifying text dominance. It also retains its strong performance in situations of limited data. Our findings position PowMix as a promising versatile regularization strategy for MSA. Code will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google