Bootstrapping Multi-view Representations for Fake News Detection

要約

マルチメディア フェイク ニュース検出に関するこれまでの研究には、ニュースから有用な情報を収集するための一連の複雑な特徴抽出および融合ネットワークが含まれています。
ただし、クロスモーダルの一貫性がニュースの忠実度とどのように関連しているか、およびさまざまなモダリティの機能が意思決定にどのように影響するかは、未解決の問題です。
この論文は、フェイクニュース検出のためのマルチビュー表現 (BMR) のブートストラップの新しいスキームを提示します。
マルチモーダルニュースが与えられた場合、テキストのビュー、画像パターン、画像セマンティクスからそれぞれ表現を抽出します。
改良されたマルチゲート混合エキスパート ネットワーク (iMMoE) は、機能の改良と融合のために提案されています。
各ビューからの表現は、ニュース全体の忠実度を大まかに予測するために個別に使用され、マルチモーダル表現はクロスモーダルの一貫性を予測できます。
予測スコアを使用して、表現の各ビューを再評価し、フェイク ニュース検出のためにそれらをブートストラップします。
典型的なフェイクニュース検出データセットで実施された広範な実験は、提案された BMR が最先端のスキームよりも優れていることを証明しています。

要約(オリジナル)

Previous researches on multimedia fake news detection include a series of complex feature extraction and fusion networks to gather useful information from the news. However, how cross-modal consistency relates to the fidelity of news and how features from different modalities affect the decision-making are still open questions. This paper presents a novel scheme of Bootstrapping Multi-view Representations (BMR) for fake news detection. Given a multi-modal news, we extract representations respectively from the views of the text, the image pattern and the image semantics. Improved Multi-gate Mixture-of-Expert networks (iMMoE) are proposed for feature refinement and fusion. Representations from each view are separately used to coarsely predict the fidelity of the whole news, and the multimodal representations are able to predict the cross-modal consistency. With the prediction scores, we reweigh each view of the representations and bootstrap them for fake news detection. Extensive experiments conducted on typical fake news detection datasets prove that the proposed BMR outperforms state-of-the-art schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google