ConspEmoLLM: Conspiracy Theory Detection Using an Emotion-Based Large Language Model

要約

インターネットは社会に利益と害の両方をもたらしました。
後者の代表的な例は、ウェブ上にあふれる陰謀論などの誤った情報です。
自然言語処理の最近の進歩、特に大規模言語モデル (LLM) の出現により、正確な誤情報検出の見通しが向上しました。
しかし、陰謀論検出に対する LLM ベースのアプローチのほとんどは、バイナリ分類のみに焦点を当てており、誤った情報と感情的特徴 (つまり、センチメントと感情) の間の重要な関係を説明できません。
独特の感情的特徴を明らかにする陰謀文の包括的な分析に基づいて、私たちは、感情情報を統合し、陰謀論に関連するさまざまなタスクを実行できる初のオープンソース LLM である ConspEmoLLM を提案します。
これらのタスクには、陰謀論の検出だけでなく、理論の種類の分類や関連する議論 (理論に対する意見など) の検出も含まれます。
ConspEmoLLM は、新しい ConDID データセットを使用した感情指向 LLM に基づいて微調整されています。これには、LLM 命令の調整と評価をサポートする 5 つのタスクが含まれています。
これらのタスクに適用すると、ConspEmoLLM は、いくつかのオープンソースの一般的なドメイン LLM や ChatGPT、さらには ConDID を使用して微調整されたものの感情機能を使用しない LLM よりも大幅に優れていることを示します。
このプロジェクトは https://github.com/lzw108/ConspEmoLLM/ で公開されます。

要約(オリジナル)

The internet has brought both benefits and harms to society. A prime example of the latter is misinformation, including conspiracy theories, which flood the web. Recent advances in natural language processing, particularly the emergence of large language models (LLMs), have improved the prospects of accurate misinformation detection. However, most LLM-based approaches to conspiracy theory detection focus only on binary classification and fail to account for the important relationship between misinformation and affective features (i.e., sentiment and emotions). Driven by a comprehensive analysis of conspiracy text that reveals its distinctive affective features, we propose ConspEmoLLM, the first open-source LLM that integrates affective information and is able to perform diverse tasks relating to conspiracy theories. These tasks include not only conspiracy theory detection, but also classification of theory type and detection of related discussion (e.g., opinions towards theories). ConspEmoLLM is fine-tuned based on an emotion-oriented LLM using our novel ConDID dataset, which includes five tasks to support LLM instruction tuning and evaluation. We demonstrate that when applied to these tasks, ConspEmoLLM largely outperforms several open-source general domain LLMs and ChatGPT, as well as an LLM that has been fine-tuned using ConDID, but which does not use affective features. This project will be released on https://github.com/lzw108/ConspEmoLLM/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google