A Dual-Module Denoising Approach with Curriculum Learning for Enhancing Multimodal Aspect-Based Sentiment Analysis

要約

マルチモーダル アスペクトベース感情分析 (MABSA) は、テキストと画像を組み合わせて感情分析を実行しますが、無関係または誤解を招く視覚情報に苦戦することがよくあります。
既存の方法論は通常、センテンス画像のノイズ除去またはアスペクト画像のノイズ除去のいずれかに対処していますが、両方のタイプのノイズに包括的に対処することはできません。
これらの制限に対処するために、私たちは、ハイブリッド カリキュラム ノイズ除去モジュール (HCD) とアスペクト強化ノイズ除去モジュール (AED) という 2 つの異なるコンポーネントで構成される新しいアプローチである DualDe を提案します。
HCD モジュールは、クリーン データでのトレーニングを優先する柔軟なカリキュラム学習戦略を組み込むことで、文画像のノイズ除去を強化します。
同時に、AED モジュールは、関心のある特定の側面に関係のないノイズの多い視覚領域をフィルタリングするアスペクト誘導型注意メカニズムを通じて、アスペクト画像のノイズを軽減します。
ベンチマーク データセットの実験的評価で証明されているように、私たちのアプローチは、文画像とアスペクト画像の両方のノイズに対処する有効性を示しています。

要約(オリジナル)

Multimodal Aspect-Based Sentiment Analysis (MABSA) combines text and images to perform sentiment analysis but often struggles with irrelevant or misleading visual information. Existing methodologies typically address either sentence-image denoising or aspect-image denoising but fail to comprehensively tackle both types of noise. To address these limitations, we propose DualDe, a novel approach comprising two distinct components: the Hybrid Curriculum Denoising Module (HCD) and the Aspect-Enhance Denoising Module (AED). The HCD module enhances sentence-image denoising by incorporating a flexible curriculum learning strategy that prioritizes training on clean data. Concurrently, the AED module mitigates aspect-image noise through an aspect-guided attention mechanism that filters out noisy visual regions which unrelated to the specific aspects of interest. Our approach demonstrates effectiveness in addressing both sentence-image and aspect-image noise, as evidenced by experimental evaluations on benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google