Modality Interactive Mixture-of-Experts for Fake News Detection

要約

ソーシャルメディアプラットフォームでの偽のニュースの拡散は、脆弱な集団に不均衡に影響を与え、信頼を侵食し、不平等を悪化させ、有害な物語を増幅します。
欺cept的なコンテンツがテキストと画像を組み合わせたマルチモーダルのコンテキストで偽のニュースを検出することは、モダリティ間の微妙な相互作用のために特に挑戦的です。
既存のマルチモーダル偽のニュース検出方法は、しばしばモーダルの一貫性を強調しますが、テキストと視覚要素の間の複雑な相互作用を無視します。
これらの課題に対処するために、相互作用ゲーティングメカニズムを介してモダリティ相互作用を明示的にモデル化することによりマルチモーダルの偽ニュース検出を強化するように設計された新しい階層的な混合物のフレームワークである、偽のニュース検出（MIMOE-FND）のモダリティインタラクティブな混合物を提示します。
私たちのアプローチは、モダリティ相互作用の2つの重要な側面を評価することにより、モダリティの相互作用をモデル化しています：単峰性予測契約とセマンティックアライメント。
MIMOE-FNDの階層構造は、さまざまな融合シナリオに合わせた明確な学習経路を可能にし、各モダリティ相互作用のユニークな特性に適応します。
Mimoe-Fndは、多様なモダリティインタラクションシナリオに融合戦略を調整することにより、マルチモーダルの偽ニュース検出に対するより堅牢で微妙なアプローチを提供します。
2つの言語にまたがる3つの実際のベンチマークでアプローチを評価し、最先端の方法と比較して優れたパフォーマンスを示しています。
偽のニュース検出の正確性と解釈性を高めることにより、Mimoe-Fndは、誤った情報の広がりを軽減するための有望なツールを提供し、その有害な効果から脆弱なコミュニティをより保護する可能性があります。

要約(オリジナル)

The proliferation of fake news on social media platforms disproportionately impacts vulnerable populations, eroding trust, exacerbating inequality, and amplifying harmful narratives. Detecting fake news in multimodal contexts — where deceptive content combines text and images — is particularly challenging due to the nuanced interplay between modalities. Existing multimodal fake news detection methods often emphasize cross-modal consistency but ignore the complex interactions between text and visual elements, which may complement, contradict, or independently influence the predicted veracity of a post. To address these challenges, we present Modality Interactive Mixture-of-Experts for Fake News Detection (MIMoE-FND), a novel hierarchical Mixture-of-Experts framework designed to enhance multimodal fake news detection by explicitly modeling modality interactions through an interaction gating mechanism. Our approach models modality interactions by evaluating two key aspects of modality interactions: unimodal prediction agreement and semantic alignment. The hierarchical structure of MIMoE-FND allows for distinct learning pathways tailored to different fusion scenarios, adapting to the unique characteristics of each modality interaction. By tailoring fusion strategies to diverse modality interaction scenarios, MIMoE-FND provides a more robust and nuanced approach to multimodal fake news detection. We evaluate our approach on three real-world benchmarks spanning two languages, demonstrating its superior performance compared to state-of-the-art methods. By enhancing the accuracy and interpretability of fake news detection, MIMoE-FND offers a promising tool to mitigate the spread of misinformation, with the potential to better safeguard vulnerable communities against its harmful effects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google