Multi-modal Fake News Detection on Social Media via Multi-grained Information Fusion

要約

タイトル：マルチグレイン情報融合によるソーシャルメディア上のマルチモーダルフェイクニュース検出

要約：

– ソーシャルメディア上のマルチメディアの簡単な共有が、偽情報の急速な拡散を引き起こし、社会の安定と安全を脅かしている。
– そのため、フェイクニュース検出は社会の法医学分野で広範な研究関心を集めている。
– 現在の方法は主にテキストとビジュアルの特徴の統合に重点を置いていますが、粗粒度と細粒度の両方の多モーダル情報を効果的に利用することができません。
– さらに、モダリティ間の相関の欠如や、各モダリティによって行われた決定の矛盾などの曖昧さの問題があります。
– これらの問題を克服するために、マルチグレイン・マルチモーダル・フュージョン・ネットワーク（MMFN）を提案し、人間によるニュースの真正性のマルチグレインプロセスに着想を得ました。
– テキストと画像からトークンレベルの特徴をエンコードするために、それぞれ2つのTransformerベースのプリトレーニングモデルを使用します。
– マルチモーダルモジュールは、CLIPエンコーダによってエンコードされた粗粒度の特徴を考慮に入れて、細粒度の特徴を融合します。
– 曖昧さの問題に対応するために、マルチモーダル特徴の使用を自動的に調整するための類似性に基づく重み付けの単一モダルブランチを設計します。
– 実験結果は、提案されたフレームワークが3つの普及したデータセットで最先端の方法を上回ることを示しています。

要約(オリジナル)

The easy sharing of multimedia content on social media has caused a rapid dissemination of fake news, which threatens society’s stability and security. Therefore, fake news detection has garnered extensive research interest in the field of social forensics. Current methods primarily concentrate on the integration of textual and visual features but fail to effectively exploit multi-modal information at both fine-grained and coarse-grained levels. Furthermore, they suffer from an ambiguity problem due to a lack of correlation between modalities or a contradiction between the decisions made by each modality. To overcome these challenges, we present a Multi-grained Multi-modal Fusion Network (MMFN) for fake news detection. Inspired by the multi-grained process of human assessment of news authenticity, we respectively employ two Transformer-based pre-trained models to encode token-level features from text and images. The multi-modal module fuses fine-grained features, taking into account coarse-grained features encoded by the CLIP encoder. To address the ambiguity problem, we design uni-modal branches with similarity-based weighting to adaptively adjust the use of multi-modal features. Experimental results demonstrate that the proposed framework outperforms state-of-the-art methods on three prevalent datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI