Bad Actor, Good Advisor: Exploring the Role of Large Language Models in Fake News Detection

要約

フェイクニュースを検出するには、多様な手がかりに対する繊細な感覚と、現実世界の背景の深い理解の両方が必要ですが、小規模言語モデル (SLM) に基づく検出器にとっては、知識と能力の限界により依然として困難です。
大規模言語モデル (LLM) の最近の進歩により、さまざまなタスクで目覚ましいパフォーマンスが示されていますが、LLM がフェイク ニュースの検出に役立つかどうか、またどのように役立つかについてはまだ研究が進んでいません。
この論文では、フェイク ニュース検出における LLM の可能性を調査します。
まず、実証研究を行った結果、GPT 3.5 などの洗練された LLM は一般にフェイク ニュースを暴露し、望ましい複数の視点からの理論的根拠を提供できるものの、それでも基本的な SLM である微調整された BERT のパフォーマンスを下回っていることがわかりました。
その後の分析では、このようなギャップは、LLM が理論的根拠を適切に選択して統合して結論を​​下すことができないことが原因であると考えられます。
これらの調査結果に基づいて、現在の LLM はフェイク ニュース検出において微調整された SLM に代わるものではないが、多視点からの有益な根拠を提供することで SLM の優れたアドバイザーとなり得ると提案します。
この提案を具体化するために、SLM が LLM の理論的根拠からニュース分析に関する洞察を選択的に取得する、フェイク ニュース検出 (ARG) のための適応的理論的ガイダンス ネットワークを設計します。
さらに、理論的根拠のないバージョンの ARG を蒸留によって導き出します。ARG-D は、LLM をクエリせずにコスト重視のシナリオに対応します。
2 つの現実世界のデータセットでの実験では、ARG と ARG-D が、SLM ベース、LLM ベース、および小規模言語モデルと大規模言語モデルの組み合わせを含む 3 種類のベースライン手法よりも優れていることが実証されました。

要約(オリジナル)

Detecting fake news requires both a delicate sense of diverse clues and a profound understanding of the real-world background, which remains challenging for detectors based on small language models (SLMs) due to their knowledge and capability limitations. Recent advances in large language models (LLMs) have shown remarkable performance in various tasks, but whether and how LLMs could help with fake news detection remains underexplored. In this paper, we investigate the potential of LLMs in fake news detection. First, we conduct an empirical study and find that a sophisticated LLM such as GPT 3.5 could generally expose fake news and provide desirable multi-perspective rationales but still underperforms the basic SLM, fine-tuned BERT. Our subsequent analysis attributes such a gap to the LLM’s inability to select and integrate rationales properly to conclude. Based on these findings, we propose that current LLMs may not substitute fine-tuned SLMs in fake news detection but can be a good advisor for SLMs by providing multi-perspective instructive rationales. To instantiate this proposal, we design an adaptive rationale guidance network for fake news detection (ARG), in which SLMs selectively acquire insights on news analysis from the LLMs’ rationales. We further derive a rationale-free version of ARG by distillation, namely ARG-D, which services cost-sensitive scenarios without querying LLMs. Experiments on two real-world datasets demonstrate that ARG and ARG-D outperform three types of baseline methods, including SLM-based, LLM-based, and combinations of small and large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google