要約
イベント速報中にソーシャルメディアプラットフォーム上で噂が急速に拡散することは、真実の普及を著しく妨げます。
これまでの研究では、注釈付きのリソースが不足しているため、昨日のニュースで取り上げられなかった予期せぬ緊急事態を直接検出することが困難であることが明らかになりました。
噂の検出に大規模言語モデル (LLM) を活用することは、大きな可能性を秘めています。
しかし、LLM にとって、多様性が限られているため、複雑な問題や物議を醸す問題に包括的な対応を提供することは困難です。
この研究では、この問題に対処するために、スタンス分離マルチエージェント ディベート (S2MAD) を提案します。
具体的には、まずスタンス分離を導入し、コメントを元の主張を支持するか反対するかのいずれかに分類します。
その後、クレームは主観的または客観的に分類され、代理人がクレームの種類ごとに異なる即時戦略を使用して合理的な初期視点を生成できるようになります。
その後、ディベーターは特定の指示に従い、複数ラウンドのディベートを通じて合意に達します。
合意に達しない場合は、裁判官代理人が意見を評価し、主張の真実性について最終的な評決を下します。
2 つの現実世界のデータセットに対して行われた広範な実験により、私たちが提案したモデルがパフォーマンスの点で最先端の手法を上回り、速報イベントの噂検出における LLM のパフォーマンスが効果的に向上することが実証されました。
要約(オリジナル)
The rapid spread of rumors on social media platforms during breaking events severely hinders the dissemination of the truth. Previous studies reveal that the lack of annotated resources hinders the direct detection of unforeseen breaking events not covered in yesterday’s news. Leveraging large language models (LLMs) for rumor detection holds significant promise. However, it is challenging for LLMs to provide comprehensive responses to complex or controversial issues due to limited diversity. In this work, we propose the Stance Separated Multi-Agent Debate (S2MAD) to address this issue. Specifically, we firstly introduce Stance Separation, categorizing comments as either supporting or opposing the original claim. Subsequently, claims are classified as subjective or objective, enabling agents to generate reasonable initial viewpoints with different prompt strategies for each type of claim. Debaters then follow specific instructions through multiple rounds of debate to reach a consensus. If a consensus is not reached, a judge agent evaluates the opinions and delivers a final verdict on the claim’s veracity. Extensive experiments conducted on two real-world datasets demonstrate that our proposed model outperforms state-of-the-art methods in terms of performance and effectively improves the performance of LLMs in breaking event rumor detection.
arxiv情報
| 著者 | Mingqing Zhang,Haisong Gong,Qiang Liu,Shu Wu,Liang Wang |
| 発行日 | 2024-12-06 08:52:30+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google