Can Large Language Models Understand Content and Propagation for Misinformation Detection: An Empirical Study

要約

大規模言語モデル (LLM) は、自然言語の理解と推論における強力な能力で大きな注目を集めています。
この論文では、誤情報検出タスクにおける LLM のパフォーマンスを調査するための包括的な実証研究を紹介します。
この研究は、コンテンツとソーシャル メディア プラットフォーム全体での伝播の両方に関する複数の LLM の理解能力に関する先駆的な調査です。
5 つの誤情報検出データセットに関する実証研究では、多様なプロンプトを持つ LLM は、テキストベースの誤情報検出では同等のパフォーマンスを達成しますが、伝播ベースの誤情報検出では既存のモデルと比較して、伝播構造を理解する能力が著しく制限されていることが示されています。
さらに、コンテンツと伝播ベースの誤情報検出の両方のために LLM を強化する 4 つの命令調整戦略をさらに設計します。
これらの戦略は、LLM を強化して、複数のインスタンスまたはハード インスタンスから効果的な特徴を積極的に学習し、無関係な伝播構造を排除することで、より優れた検出パフォーマンスを実現します。
広範な実験により、LLM がこれらの提案された戦略の下でコンテンツと伝播構造においてより優れた能力を発揮し、有望な検出パフォーマンスを達成することがさらに実証されました。
これらの発見は、LLM の誤った情報を検出する潜在的な能力を強調しています。

要約(オリジナル)

Large Language Models (LLMs) have garnered significant attention for their powerful ability in natural language understanding and reasoning. In this paper, we present a comprehensive empirical study to explore the performance of LLMs on misinformation detection tasks. This study stands as the pioneering investigation into the understanding capabilities of multiple LLMs regarding both content and propagation across social media platforms. Our empirical studies on five misinformation detection datasets show that LLMs with diverse prompts achieve comparable performance in text-based misinformation detection but exhibit notably constrained capabilities in comprehending propagation structure compared to existing models in propagation-based misinformation detection. Besides, we further design four instruction-tuned strategies to enhance LLMs for both content and propagation-based misinformation detection. These strategies boost LLMs to actively learn effective features from multiple instances or hard instances, and eliminate irrelevant propagation structures, thereby achieving better detection performance. Extensive experiments further demonstrate LLMs would play a better capacity in content and propagation structure under these proposed strategies and achieve promising detection performance. These findings highlight the potential ability of LLMs to detect misinformation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google