Fact-checking information generated by a large language model can decrease news discernment

要約

ファクトチェックは誤った情報に対する効果的な戦略となり得ますが、オンライン上の圧倒的な量の情報によってその大規模な実施が妨げられています。
最近の人工知能 (AI) 言語モデルは、事実確認タスクにおいて優れた能力を示していますが、人間がこれらのモデルによって提供される事実確認情報とどのように対話するかは不明です。
ここでは、事前登録されたランダム化対照実験において、一般的な大規模言語モデル (LLM) によって生成されたファクトチェック情報が、政治ニュースへの信念とその意図の共有に及ぼす影響を調査します。
LLM は誤った見出しを暴くのにかなりうまく機能しますが、見出しの正確さを識別したり、正確なニュースを共有したりする参加者の能力に大きな影響を与えないことがわかりました。
その後の分析により、AI ファクト チェッカーが特定のケースで有害であることが明らかになりました。AI ファクト チェッカーは、誤って誤ってラベル付けされた本当の見出しに対する信念を減少させ、確信が持てない偽の見出しに対する信念を増加させます。
良い面としては、AI のファクトチェック情報により、正しくラベル付けされた本当の見出しに対する共有意図が増加します。
参加者に LLM ファクト チェックを表示するオプションが与えられ、そうすることを選択すると、真実と誤ったニュースの両方を共有する可能性が大幅に高くなりますが、誤ったニュースを信じる可能性が高まるだけです。
私たちの調査結果は、AI アプリケーションに起因する潜在的な危害の重要な原因を浮き彫りにし、そのような意図しない結果を防止または軽減するための政策の重要な必要性を強調しています。

要約(オリジナル)

Fact checking can be an effective strategy against misinformation, but its implementation at scale is impeded by the overwhelming volume of information online. Recent artificial intelligence (AI) language models have shown impressive ability in fact-checking tasks, but how humans interact with fact-checking information provided by these models is unclear. Here, we investigate the impact of fact-checking information generated by a popular large language model (LLM) on belief in, and sharing intent of, political news in a preregistered randomized control experiment. Although the LLM performs reasonably well in debunking false headlines, we find that it does not significantly affect participants’ ability to discern headline accuracy or share accurate news. Subsequent analysis reveals that the AI fact-checker is harmful in specific cases: it decreases beliefs in true headlines that it mislabels as false and increases beliefs in false headlines that it is unsure about. On the positive side, the AI fact-checking information increases sharing intents for correctly labeled true headlines. When participants are given the option to view LLM fact checks and choose to do so, they are significantly more likely to share both true and false news but only more likely to believe false news. Our findings highlight an important source of potential harm stemming from AI applications and underscore the critical need for policies to prevent or mitigate such unintended consequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google