Countering Misinformation via Emotional Response Generation

要約

ソーシャル メディア プラットフォーム (SMP) 上での誤った情報の蔓延は、公衆衛生、社会的結束、そして最終的には民主主義に重大な危険をもたらします。
これまでの研究では、誤解を招くメッセージを拡散するユーザーと直接建設的な対話を行うことで、誤解を招くメッセージを拡散するユーザーと直接対話することで、社会的修正が誤った情報を抑制する効果的な方法であることが示されています。
プロのファクトチェッカーは、バイラルな主張の誤りを暴くために不可欠ですが、通常、ソーシャルメディア上での会話には関与しません。
これにより、社会矯正におけるファクトチェッカー資料の使用を自動化するために多大な努力が払われてきました。
しかし、これまでの作品では、ソーシャル メディア コミュニケーションで一般的に採用されているスタイルや語用論とそれを統合しようとしたものはありませんでした。
このギャップを埋めるために、誤った情報の信頼性に重​​要な役割を果たす 2 つの要素である SMP スタイルと基本的な感情の両方を説明する、約 12,000 の主張と回答のペア (誤りを暴く記事にリンク) で構成される初の大規模データセットである VerMouth を紹介します。
そして広がる。
このデータセットを収集するために、著者と査読者のパイプラインに基づく手法を使用しました。これは、LLM とヒューマン アノテーターを効率的に組み合わせて高品質のデータを取得します。
また、提案したデータセットでトレーニングされたモデルが出力品質と一般化機能の点でどのように大幅に向上するかを示す包括的な実験も提供します。

要約(オリジナル)

The proliferation of misinformation on social media platforms (SMPs) poses a significant danger to public health, social cohesion and ultimately democracy. Previous research has shown how social correction can be an effective way to curb misinformation, by engaging directly in a constructive dialogue with users who spread — often in good faith — misleading messages. Although professional fact-checkers are crucial to debunking viral claims, they usually do not engage in conversations on social media. Thereby, significant effort has been made to automate the use of fact-checker material in social correction; however, no previous work has tried to integrate it with the style and pragmatics that are commonly employed in social media communication. To fill this gap, we present VerMouth, the first large-scale dataset comprising roughly 12 thousand claim-response pairs (linked to debunking articles), accounting for both SMP-style and basic emotions, two factors which have a significant role in misinformation credibility and spreading. To collect this dataset we used a technique based on an author-reviewer pipeline, which efficiently combines LLMs and human annotators to obtain high-quality data. We also provide comprehensive experiments showing how models trained on our proposed dataset have significant improvements in terms of output quality and generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google