Correcting misinformation on social media with a large language model

要約

現実世界の誤情報は、多くの場合マルチモーダルであり、部分的または完全に事実であるが、相関関係と因果関係を混同するような多様な戦術を用いて誤解を招くことがある。このような誤情報は、深刻なほど研究されておらず、対処が困難であり、様々な社会的領域、特に急速に広まる可能性のあるソーシャルメディア上で害を及ぼす。誤報の（不正確な）正確さを特定し説明する、質の高いタイムリーな訂正は、誤った信念を効果的に減少させる。手作業による修正は広く受け入れられているにもかかわらず、タイムリーでスケーラブルであることは難しい。LLMは誤情報の訂正を加速させる汎用的な機能を持つが、最新情報の不足、誤った内容を生成する傾向、マルチモーダル情報への対応の限界などのために苦戦を強いられている。我々はMUSEを提案する。MUSEは、最新情報へのアクセスと信頼性評価を強化したLLMである。MUSEは、反論や文脈の裏付けとなる証拠を検索することで、コンテンツの（中略）正確性を特定し、参考文献を用いて説明する。MUSEは、マルチモーダルな検索を行い、ビジュアルコンテンツを解釈して、マルチモーダルなコンテンツを検証・修正します。包括的な評価アプローチがないため、我々は誤報訂正の品質について13の次元を提案する。そして、ファクトチェックの専門家が、誤情報であることを前提とせず、（部分的に）誤った投稿や、（誤解を招く可能性のある）正しい投稿を広く含むソーシャルメディアコンテンツへの応答を評価する。その結果、MUSEは、潜在的な誤情報に対して、モダリティ、戦術、ドメイン、政治的傾向を問わず、また、これまでオンラインでファクトチェックされていない情報に対しても、ソーシャルメディア上に出現してから数分以内に、質の高い回答を書くことができることが実証された。全体として、MUSEはGPT-4を37%上回り、素人からの高品質な回答も29%上回った。我々の研究は、誤った情報を大規模に修正するための一般的な方法論と評価の枠組みを提供する。

要約(オリジナル)

Real-world misinformation, often multimodal, can be partially or fully factual but misleading using diverse tactics like conflating correlation with causation. Such misinformation is severely understudied, challenging to address, and harms various social domains, particularly on social media, where it can spread rapidly. High-quality and timely correction of misinformation that identifies and explains its (in)accuracies effectively reduces false beliefs. Despite the wide acceptance of manual correction, it is difficult to be timely and scalable. While LLMs have versatile capabilities that could accelerate misinformation correction, they struggle due to a lack of recent information, a tendency to produce false content, and limitations in addressing multimodal information. We propose MUSE, an LLM augmented with access to and credibility evaluation of up-to-date information. By retrieving evidence as refutations or supporting context, MUSE identifies and explains content (in)accuracies with references. It conducts multimodal retrieval and interprets visual content to verify and correct multimodal content. Given the absence of a comprehensive evaluation approach, we propose 13 dimensions of misinformation correction quality. Then, fact-checking experts evaluate responses to social media content that are not presupposed to be misinformation but broadly include (partially) incorrect and correct posts that may (not) be misleading. Results demonstrate MUSE’s ability to write high-quality responses to potential misinformation–across modalities, tactics, domains, political leanings, and for information that has not previously been fact-checked online–within minutes of its appearance on social media. Overall, MUSE outperforms GPT-4 by 37% and even high-quality responses from laypeople by 29%. Our work provides a general methodological and evaluative framework to correct misinformation at scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL