Cross-modal Contrastive Learning for Multimodal Fake News Detection

要約

マルチモーダルなフェイクニュースの自動検出は、最近広く注目を集めています。
既存のアプローチの多くは、単峰性の特徴を融合して多峰性のニュース表現を生成しようとしています。
しかし、フェイクニュース検出のための強力なクロスモーダル対比学習法の可能性は十分に活用されていません。
さらに、意思決定プロセスのパフォーマンスを向上させるために、さまざまなモダリティの機能をどのように統合するかは、まだ未解決の問題です。
これに対処するために、より正確な画像とテキストの位置合わせを実現することを目的として、マルチモーダルなフェイクニュース検出のためのクロスモーダル対比学習フレームワークである COOLANT を提案します。
アライメントの精度をさらに向上させるために、補助タスクを利用して、コントラスト プロセス中のネガティブ サンプルの損失期間を緩和します。
クロスモーダル相関を学習するために、クロスモーダル融合モジュールが開発されています。
アテンション ガイダンス モジュールを備えたアテンション メカニズムが実装されており、調整された単峰表現とクロスモダリティ相関を効果的かつ解釈可能に集約するのに役立ちます。
最後に、COOLANT を評価し、広く使用されている 2 つのデータセット、Twitter と Weibo で比較研究を実施します。
実験結果は、当社の COOLANT が以前のアプローチを大幅に上回っており、2 つのデータセットで新しい最先端の結果を達成していることを示しています。

要約(オリジナル)

Automatic detection of multimodal fake news has gained a widespread attention recently. Many existing approaches seek to fuse unimodal features to produce multimodal news representations. However, the potential of powerful cross-modal contrastive learning methods for fake news detection has not been well exploited. Besides, how to aggregate features from different modalities to boost the performance of the decision-making process is still an open question. To address that, we propose COOLANT, a cross-modal contrastive learning framework for multimodal fake news detection, aiming to achieve more accurate image-text alignment. To further improve the alignment precision, we leverage an auxiliary task to soften the loss term of negative samples during the contrast process. A cross-modal fusion module is developed to learn the cross-modality correlations. An attention mechanism with an attention guidance module is implemented to help effectively and interpretably aggregate the aligned unimodal representations and the cross-modality correlations. Finally, we evaluate the COOLANT and conduct a comparative study on two widely used datasets, Twitter and Weibo. The experimental results demonstrate that our COOLANT outperforms previous approaches by a large margin and achieves new state-of-the-art results on the two datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google