GRaMuFeN: Graph-based Multi-modal Fake News Detection in Social Media

要約

Twitter、Instagram、Weibo などのソーシャル メディア プラットフォームの普及により、誤った情報の拡散が大幅に強化されました。
この現象により、個人と政府機関の両方が世論を形成する能力が得られ、効果的な検出方法を導入する必要性が強調されています。
この論文では、ニュースのテキストと画像の両方のコンテンツを分析することによって偽のコンテンツを検出するように設計されたモデルである GraMuFeN を提案します。
GraMuFeN は、テキスト エンコーダと画像エンコーダという 2 つの主要コンポーネントで構成されます。
テキスト分析の場合、GraMuFeN は各テキストをグラフとして扱い、テキスト エンコーダーとしてグラフ畳み込みニューラル ネットワーク (GCN) を採用します。
さらに、畳み込みニューラル ネットワーク (CNN) として事前にトレーニングされた ResNet-152 が画像エンコーダーとして利用されています。
これら 2 つのエンコーダーからの出力を統合し、対照的な類似性損失関数を実装することにより、GraMuFeN は顕著な結果を達成します。
ソーシャル メディア ニュース用に公開されている 2 つのベンチマーク データセットに対して行われた広範な評価では、マイクロ F1 スコアが 10 % 増加し、既存の最先端モデルよりも改善されていることが示されています。
これらの発見は、モデル パラメーターによって課せられる追加の計算負荷を最小限に抑えながら、マルチモーダル データ内のフェイク ニュースを検出するために GCN モデルと CNN モデルを組み合わせることが有効であることを強調しています。

要約(オリジナル)

The proliferation of social media platforms such as Twitter, Instagram, and Weibo has significantly enhanced the dissemination of false information. This phenomenon grants both individuals and governmental entities the ability to shape public opinions, highlighting the need for deploying effective detection methods. In this paper, we propose GraMuFeN, a model designed to detect fake content by analyzing both the textual and image content of news. GraMuFeN comprises two primary components: a text encoder and an image encoder. For textual analysis, GraMuFeN treats each text as a graph and employs a Graph Convolutional Neural Network (GCN) as the text encoder. Additionally, the pre-trained ResNet-152, as a Convolutional Neural Network (CNN), has been utilized as the image encoder. By integrating the outputs from these two encoders and implementing a contrastive similarity loss function, GraMuFeN achieves remarkable results. Extensive evaluations conducted on two publicly available benchmark datasets for social media news indicate a 10 % increase in micro F1-Score, signifying improvement over existing state-of-the-art models. These findings underscore the effectiveness of combining GCN and CNN models for detecting fake news in multi-modal data, all while minimizing the additional computational burden imposed by model parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google