RU22Fact: Optimizing Evidence for Multilingual Explainable Fact-Checking on Russia-Ukraine Conflict

要約

ファクトチェックは、入手可能な証拠を調べることによって、特定の主張の事実を検証するタスクです。
高品質の証拠は、事実確認システムを強化し、人間に理解できる説明の生成を促進する上で重要な役割を果たします。
しかし、説明可能な事実確認システムに十分かつ関連する証拠を提供することは課題を引き起こします。
この課題に取り組むために、大規模言語モデルに基づいて、Web から証拠を自動的に取得して要約する方法を提案します。
さらに、2022 年のロシアとウクライナの紛争に関する、16,000 サンプルの新しい多言語説明可能なファクトチェック データセットである RU22Fact を構築します。各サンプルには、現実世界の主張、最適化された証拠、参照された説明が含まれています。
データセットのベースラインを確立するために、主張を検証し説明を生成するためのエンドツーエンドの説明可能な事実確認システムも開発します。
実験結果は、事実確認のパフォーマンスを向上させるために最適化された証拠が得られる見通しを示し、また、エンドツーエンドのクレーム検証と説明生成タスクがさらに進歩する可能性を示しています。

要約(オリジナル)

Fact-checking is the task of verifying the factuality of a given claim by examining the available evidence. High-quality evidence plays a vital role in enhancing fact-checking systems and facilitating the generation of explanations that are understandable to humans. However, the provision of both sufficient and relevant evidence for explainable fact-checking systems poses a challenge. To tackle this challenge, we propose a method based on a Large Language Model to automatically retrieve and summarize evidence from the Web. Furthermore, we construct RU22Fact, a novel multilingual explainable fact-checking dataset on the Russia-Ukraine conflict in 2022 of 16K samples, each containing real-world claims, optimized evidence, and referenced explanation. To establish a baseline for our dataset, we also develop an end-to-end explainable fact-checking system to verify claims and generate explanations. Experimental results demonstrate the prospect of optimized evidence in increasing fact-checking performance and also indicate the possibility of further progress in the end-to-end claim verification and explanation generation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google