Complex Claim Verification with Evidence Retrieved in the Wild

要約

証拠の検索は、自動ファクトチェックの中核部分です。
これまでの研究では、証拠にアクセスできない、人間のファクトチェッカーによって精選された証拠にアクセスする、または主張がなされてからずっと後に利用可能な証拠にアクセスするなど、現実世界のユースケースから逸脱した検索の仮定を単純化しています。
この研究では、Web から生の証拠を取得することによって現実世界の主張をチェックするための最初の完全に自動化されたパイプラインを紹介します。
新たな請求をチェックする必要がある現実的なシナリオをモデル化して、取得者が請求の作成前に利用可能な文書のみを検索するように制限します。
当社のパイプラインには、主張の分解、生の文書の取得、きめ細かい証拠の取得、主張に焦点を当てた要約、真実性の判断という 5 つのコンポーネントが含まれています。
私たちは、ClaimDecomp データセット内の複雑な政治的主張について実験を実施し、パイプラインによって生成された集約された証拠によって真実性の判断が向上することを示しました。
人間による評価では、当社のシステムによって作成された証拠の要約は信頼性が高く（幻覚情報ではない）、請求に関する重要な質問に答えるのに関連していることがわかり、完全な証拠セットを明らかにできない場合でも、ファクトチェッカーを支援できることが示唆されています。

要約(オリジナル)

Evidence retrieval is a core part of automatic fact-checking. Prior work makes simplifying assumptions in retrieval that depart from real-world use cases: either no access to evidence, access to evidence curated by a human fact-checker, or access to evidence available long after the claim has been made. In this work, we present the first fully automated pipeline to check real-world claims by retrieving raw evidence from the web. We restrict our retriever to only search documents available prior to the claim’s making, modeling the realistic scenario where an emerging claim needs to be checked. Our pipeline includes five components: claim decomposition, raw document retrieval, fine-grained evidence retrieval, claim-focused summarization, and veracity judgment. We conduct experiments on complex political claims in the ClaimDecomp dataset and show that the aggregated evidence produced by our pipeline improves veracity judgments. Human evaluation finds the evidence summary produced by our system is reliable (it does not hallucinate information) and relevant to answering key questions about a claim, suggesting that it can assist fact-checkers even when it cannot surface a complete evidence set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google