Grounding Fallacies Misrepresenting Scientific Publications in Evidence

要約

健康関連の誤った情報の主張は、証拠として信頼できる生物医学出版物を誤って引用することが多く、表面的にはその誤った主張を裏付けているように見えます。
この出版物はその主張を実際には裏付けていませんが、論理的誤謬を使用しているため、読者はそれを信じることができます。
ここで私たちは、そのような誤りを検出し、浮き彫りにすることを目的としていますが、そのためには、誤って伝えられた出版物の正確な内容を慎重に評価する必要があります。
これを実現するために、誤謬検出データセット Missci の拡張機能である MissciPlus を導入します。
MissciPlus は、誤って伝えられた研究から現実世界の一節に応用された誤謬に基づいて Missci を構築しています。
これにより、現実世界の入力条件下でこれらの誤りを検出して言語化するための現実的なテストベッドが作成され、新しいパッセージ検索タスクが可能になります。
MissciPlus は、現実世界で誤って伝えられた証拠と不正確な主張を組み合わせた最初の論理的誤謬データセットであり、証拠に基づく事実確認モデルへの入力と同じです。
MissciPlus を使用して、i) 誤りが適用された場合にのみ主張を裏付ける文章を特定する検索モデルのベンチマークを行い、ii) LLM が誤って伝えられた科学的文章から誤った推論をどの程度明確に表現できるかを評価し、iii) 以下の主張を反論する際の事実確認モデルの有効性を評価します。
生物医学研究を偽る。
私たちの調査結果は、現在のファクトチェックモデルが、誤って伝えられた出版物から関連する文章を利用して誤った情報を反論するのに苦労していることを示しています。
さらに、これらの文章は LLM を誤解させ、虚偽の主張を真実であると受け入れる可能性があります。

要約(オリジナル)

Health-related misinformation claims often falsely cite a credible biomedical publication as evidence, which superficially appears to support the false claim. The publication does not really support the claim, but a reader could believe it thanks to the use of logical fallacies. Here, we aim to detect and to highlight such fallacies, which requires carefully assessing the exact content of the misrepresented publications. To achieve this, we introduce MissciPlus, an extension of the fallacy detection dataset Missci. MissciPlus builds on Missci by grounding the applied fallacies in real-world passages from misrepresented studies. This creates a realistic test-bed for detecting and verbalizing these fallacies under real-world input conditions, and enables novel passage-retrieval tasks. MissciPlus is the first logical fallacy dataset which pairs the real-world misrepresented evidence with incorrect claims, identical to the input to evidence-based fact-checking models. With MissciPlus, we i) benchmark retrieval models in identifying passages that support claims only when fallacies are applied, ii) evaluate how well LLMs articulate fallacious reasoning from misrepresented scientific passages, and iii) assess the effectiveness of fact-checking models in refuting claims that misrepresent biomedical research. Our findings show that current fact-checking models struggle to use relevant passages from misrepresented publications to refute misinformation. Moreover, these passages can mislead LLMs into accepting false claims as true.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google