Adaptive Learning of Consistency and Inconsistency Information for Fake News Detection

要約

ソーシャルメディアプラットフォームの急速な進歩により、情報拡散のコストは大幅に削減されましたが、同時にフェイクニュースの蔓延にもつながり、社会の信頼と信用に脅威を与えています。
フェイクニュース検出研究のほとんどは、ニュースコンテンツ内の複数のモードの一貫性を表すためにテキストと画像の情報を統合することに焦点を当てており、一貫性のない情報にはあまり注意を払っていませんでした。
さらに、一貫性のない情報を利用する既存の方法では、あるモードが他のモードに影を落としてしまうことが多く、一貫性のない手がかりが非効率的に使用されてしまうことがありました。
これらの問題に対処するために、適応型マルチモーダル機能融合ネットワーク (MFF-Net) を提案します。
MFF-Net は、ニュースの真偽を判断する人間の判断プロセスにインスピレーションを得て、ニュース コンテンツが一般的に一貫している場合は矛盾する部分に焦点を当て、一般に一貫性がない場合は一貫した部分に焦点を当てます。
具体的には、MFF-Net は、画像とテキストからそれぞれ意味論的特徴とグローバル特徴を抽出し、複数特徴融合モジュールを通じてモード間の一貫性情報を学習します。
モーダル情報が簡単にマスクされてしまうという問題に対処するために、対応するモードから一貫性のない情報を個別に取得する単一のモーダル特徴フィルタリング戦略を設計します。
最後に、一致した特徴と矛盾した特徴の重み付けされた融合を達成するために行われた適応調整を伴う全体的な特徴に基づいて類似性スコアが計算されます。
広範な実験結果は、MFF-Net が実際のソーシャル メディアから派生した 3 つの公開ニュース データセットにわたって最先端の手法を上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

The rapid advancement of social media platforms has significantly reduced the cost of information dissemination, yet it has also led to a proliferation of fake news, posing a threat to societal trust and credibility. Most of fake news detection research focused on integrating text and image information to represent the consistency of multiple modes in news content, while paying less attention to inconsistent information. Besides, existing methods that leveraged inconsistent information often caused one mode overshadowing another, leading to ineffective use of inconsistent clue. To address these issues, we propose an adaptive multi-modal feature fusion network (MFF-Net). Inspired by human judgment processes for determining truth and falsity in news, MFF-Net focuses on inconsistent parts when news content is generally consistent and consistent parts when it is generally inconsistent. Specifically, MFF-Net extracts semantic and global features from images and texts respectively, and learns consistency information between modes through a multiple feature fusion module. To deal with the problem of modal information being easily masked, we design a single modal feature filtering strategy to capture inconsistent information from corresponding modes separately. Finally, similarity scores are calculated based on global features with adaptive adjustments made to achieve weighted fusion of consistent and inconsistent features. Extensive experimental results demonstrate that MFF-Net outperforms state-of-the-art methods across three public news datasets derived from real social medias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google