Bridging Cognition and Emotion: Empathy-Driven Multimodal Misinformation Detection

要約

デジタル時代では、ソーシャルメディアは情報普及のための主要な導管となっていますが、誤った情報の急速な広がりも促進します。
従来の誤報検出方法は、主に表面レベルの特徴に焦点を当て、伝播プロセスにおける人間の共感の重要な役割を見落としています。
このギャップに対処するために、私たちは、創造者と読者の両方の視点からの誤った情報を分析するために認知的および感情的な共感を統合するデュアルアスペクト共感フレームワーク（DAE）を提案します。
クリエイターの認知戦略と感情的な魅力を調べ、読者の認知判断と大規模な言語モデル（LLM）を使用した感情的反応をシミュレートすることにより、DAEは誤った情報検出に対してより包括的で人間中心のアプローチを提供します。
さらに、応答の信頼性と多様性を高めるために、共感を意識したフィルタリングメカニズムをさらに導入します。
ベンチマークデータセットの実験結果は、DAEが既存の方法を上回り、マルチモーダル誤った情報検出の新しいパラダイムを提供することを示しています。

要約(オリジナル)

In the digital era, social media has become a major conduit for information dissemination, yet it also facilitates the rapid spread of misinformation. Traditional misinformation detection methods primarily focus on surface-level features, overlooking the crucial roles of human empathy in the propagation process. To address this gap, we propose the Dual-Aspect Empathy Framework (DAE), which integrates cognitive and emotional empathy to analyze misinformation from both the creator and reader perspectives. By examining creators’ cognitive strategies and emotional appeals, as well as simulating readers’ cognitive judgments and emotional responses using Large Language Models (LLMs), DAE offers a more comprehensive and human-centric approach to misinformation detection. Moreover, we further introduce an empathy-aware filtering mechanism to enhance response authenticity and diversity. Experimental results on benchmark datasets demonstrate that DAE outperforms existing methods, providing a novel paradigm for multimodal misinformation detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google