Artificial intelligence is ineffective and potentially harmful for fact checking

要約

ファクト・チェックは、誤った情報に対する効果的な戦略となりうるが、その大規模な実施は、オンライン上の圧倒的な情報量によって妨げられている。最近の人工知能（AI）言語モデルは、事実確認タスクにおいて素晴らしい能力を示しているが、これらのモデルによって提供される事実確認情報と人間がどのように相互作用するかは不明である。本稿では、一般的なAIモデルによって生成されたファクトチェックが、政治ニュースの信憑性や共有意図に与える影響を、事前登録されたランダム化対照実験で調査する。AIは虚偽の見出しを論破するという点ではそれなりに良いパフォーマンスを示したが、参加者の見出しの正確さを見分ける能力や正確なニュースを共有する能力には有意な影響を与えないことがわかった。しかし、AIファクトチェッカーは特定のケースにおいて有害である。すなわち、AIが偽と誤判定した真の見出しの信念を減少させ、AIが確信できない偽の見出しの信念を増加させる。肯定的な面では、AIは正しくラベル付けされた真の見出しの共有意図を増加させる。参加者にAIのファクト・チェックを閲覧するオプションが与えられ、それを選択した場合、参加者は真実と虚偽の両方のニュースを共有する可能性が有意に高くなるが、虚偽のニュースを信じる可能性だけが高くなる。我々の発見は、AIの応用に起因する潜在的な危害の重要な原因を浮き彫りにし、そのような意図しない結果を防止または緩和するための政策の重要な必要性を強調している。

要約(オリジナル)

Fact checking can be an effective strategy against misinformation, but its implementation at scale is impeded by the overwhelming volume of information online. Recent artificial intelligence (AI) language models have shown impressive ability in fact-checking tasks, but how humans interact with fact-checking information provided by these models is unclear. Here we investigate the impact of fact checks generated by a popular AI model on belief in, and sharing intent of, political news in a preregistered randomized control experiment. Although the AI performs reasonably well in debunking false headlines, we find that it does not significantly affect participants’ ability to discern headline accuracy or share accurate news. However, the AI fact-checker is harmful in specific cases: it decreases beliefs in true headlines that it mislabels as false and increases beliefs for false headlines that it is unsure about. On the positive side, the AI increases sharing intents for correctly labeled true headlines. When participants are given the option to view AI fact checks and choose to do so, they are significantly more likely to share both true and false news but only more likely to believe false news. Our findings highlight an important source of potential harm stemming from AI applications and underscore the critical need for policies to prevent or mitigate such unintended consequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL