The Truth Becomes Clearer Through Debate! Multi-Agent Systems with Large Language Models Unmask Fake News

要約

今日のデジタル環境では、ソーシャルネットワークを介した偽のニュースの急速な伝播は、重要な社会的課題をもたらします。
ほとんどの既存の検出方法は、低い解釈可能性と限られた一般化機能に悩まされる従来の分類モデルを採用しているか、大規模な言語モデル（LLM）の特定のプロンプトを作成して説明と結果を直接作成し、LLMSの推論能力を完全に活用できません。
「Truthは議論を通してより明確になる」という言葉に触発されて、私たちの研究は、偽のニュース検出の解釈可能性と有効性を高めるために、Truedebate（TED）という名前のLLMSを備えた新しいマルチエージェントシステムを導入しています。
テッドは、正式な議論の設定に触発された厳格な議論プロセスを採用しています。
私たちのアプローチの中心には、DebateFlowエージェントとInsightflowエージェントの2つの革新的なコンポーネントがあります。
DebateFlowのエージェントは、エージェントを2つのチームに編成し、1つがサポートし、もう1つはニュースの真実に挑戦します。
これらのエージェントは、オープニングステートメント、反対尋問、反論、および閉会の声明に従事し、人間の談話分析に似た厳格な議論プロセスをシミュレートし、ニュースコンテンツの徹底的な評価を可能にします。
同時に、Insightflowエージェントは、合成剤と分析剤の2つの特殊なサブエージェントで構成されています。
合成剤は議論を要約し、包括的な視点を提供し、一貫した包括的な評価を確保します。
ロール認識エンコーダと議論グラフを含む分析エージェントは、役割の埋め込みを統合し、注意メカニズムを使用して議論の役割と議論の間の相互作用をモデル化し、最終的な判断を提供します。

要約(オリジナル)

In today’s digital environment, the rapid propagation of fake news via social networks poses significant social challenges. Most existing detection methods either employ traditional classification models, which suffer from low interpretability and limited generalization capabilities, or craft specific prompts for large language models (LLMs) to produce explanations and results directly, failing to leverage LLMs’ reasoning abilities fully. Inspired by the saying that ‘truth becomes clearer through debate,’ our study introduces a novel multi-agent system with LLMs named TruEDebate (TED) to enhance the interpretability and effectiveness of fake news detection. TED employs a rigorous debate process inspired by formal debate settings. Central to our approach are two innovative components: the DebateFlow Agents and the InsightFlow Agents. The DebateFlow Agents organize agents into two teams, where one supports and the other challenges the truth of the news. These agents engage in opening statements, cross-examination, rebuttal, and closing statements, simulating a rigorous debate process akin to human discourse analysis, allowing for a thorough evaluation of news content. Concurrently, the InsightFlow Agents consist of two specialized sub-agents: the Synthesis Agent and the Analysis Agent. The Synthesis Agent summarizes the debates and provides an overarching viewpoint, ensuring a coherent and comprehensive evaluation. The Analysis Agent, which includes a role-aware encoder and a debate graph, integrates role embeddings and models the interactions between debate roles and arguments using an attention mechanism, providing the final judgment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google