Artificial intelligence is ineffective and potentially harmful for fact checking

要約

ファクトチェックは誤った情報に対する効果的な戦略となり得ますが、オンライン上の圧倒的な量の情報によってその大規模な実施が妨げられています。
最近の人工知能 (AI) 言語モデルは、事実確認タスクにおいて優れた能力を示していますが、人間がこれらのモデルによって提供される事実確認情報とどのように対話するかは不明です。
ここでは、事前に登録されたランダム化対照実験で、人気のある AI モデルによって生成されたファクトチェックが、政治ニュースへの信念とその意図の共有に及ぼす影響を調査します。
AI は誤った見出しを暴くのにかなりうまく機能しますが、見出しの正確さを識別したり、正確なニュースを共有したりする参加者の能力に大きな影響を与えていないことがわかりました。
ただし、AI ファクトチェッカーは特定のケースでは有害です。つまり、誤って誤ってラベル付けされた本当の見出しに対する信念が減少し、確信が持てない偽の見出しに対する信念が増加します。
良い面としては、AI により、正しくラベル付けされた真の見出しに対する共有インテントが増加します。
参加者に AI ファクトチェックを表示するオプションが与えられ、そうすることを選択すると、真実と誤ったニュースの両方を共有する可能性が大幅に高くなりますが、誤ったニュースを信じる可能性が高まるだけです。
私たちの調査結果は、AI アプリケーションに起因する潜在的な危害の重要な原因を浮き彫りにし、そのような意図しない結果を防止または軽減するための政策の重要な必要性を強調しています。

要約(オリジナル)

Fact checking can be an effective strategy against misinformation, but its implementation at scale is impeded by the overwhelming volume of information online. Recent artificial intelligence (AI) language models have shown impressive ability in fact-checking tasks, but how humans interact with fact-checking information provided by these models is unclear. Here we investigate the impact of fact checks generated by a popular AI model on belief in, and sharing intent of, political news in a preregistered randomized control experiment. Although the AI performs reasonably well in debunking false headlines, we find that it does not significantly affect participants’ ability to discern headline accuracy or share accurate news. However, the AI fact-checker is harmful in specific cases: it decreases beliefs in true headlines that it mislabels as false and increases beliefs for false headlines that it is unsure about. On the positive side, the AI increases sharing intents for correctly labeled true headlines. When participants are given the option to view AI fact checks and choose to do so, they are significantly more likely to share both true and false news but only more likely to believe false news. Our findings highlight an important source of potential harm stemming from AI applications and underscore the critical need for policies to prevent or mitigate such unintended consequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google