A Multimodal Adaptive Graph-based Intelligent Classification Model for Fake News

要約

機械学習や深層学習に基づくマルチモダリティに焦点を当てたフェイクニュースを検出するための多くの研究が提案されています。
しかし、幾何学的な深層学習を使用したグラフベースの構造に焦点を当てた研究は不足しています。
この課題に対処するために、フェイク ニュース検出のためのマルチモーダル アダプティブ グラフベースのインテリジェント分類 (MAGIC と呼ばれる) を導入します。
具体的には、Transformers のエンコーダー表現がテキストのベクトル化に使用され、ResNet50 が画像に使用されました。
Softmax 関数を通じてマルチモーダル入力を分類する前に、適応型グラフ アテンション ネットワークを使用して包括的な情報相互作用グラフが構築されました。
MAGIC は、Fakeddit (英語) と Multimodal Fake News Detection (中国語) という 2 つのフェイク ニュース データセットでトレーニングおよびテストされ、モデルはそれぞれ 98.8\% と 86.3\% の精度を達成しました。
アブレーション実験では、MAGIC が両方のデータセットにわたって優れたパフォーマンスを発揮することも明らかになりました。
調査結果は、グラフベースの深層学習適応モデルがマルチモーダルなフェイクニュースの検出に効果的であり、最先端の手法を上回っていることを示しています。

要約(オリジナル)

Numerous studies have been proposed to detect fake news focusing on multi-modalities based on machine and/or deep learning. However, studies focusing on graph-based structures using geometric deep learning are lacking. To address this challenge, we introduce the Multimodal Adaptive Graph-based Intelligent Classification (aptly referred to as MAGIC) for fake news detection. Specifically, the Encoder Representations from Transformers was used for text vectorization whilst ResNet50 was used for images. A comprehensive information interaction graph was built using the adaptive Graph Attention Network before classifying the multimodal input through the Softmax function. MAGIC was trained and tested on two fake news datasets, that is, Fakeddit (English) and Multimodal Fake News Detection (Chinese), with the model achieving an accuracy of 98.8\% and 86.3\%, respectively. Ablation experiments also revealed MAGIC to yield superior performance across both the datasets. Findings show that a graph-based deep learning adaptive model is effective in detecting multimodal fake news, surpassing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google