Minimal Evidence Group Identification for Claim Verification

要約

現実の環境での主張の検証（例：Web から取得した証拠候補の大規模なコレクションに対する）では、通常、全体として主張を完全に裏付ける証拠の完全なセットを特定し、集約する必要があります。
この問題は、さまざまな観点から主張を検証するために使用できる明確な証拠が存在する場合に特に困難になります。
この論文では、クレーム検証のためのそのような最小限の証拠グループ (MEG) を特定する問題を正式に定義し、研究します。
我々は、特定の証拠グループが主張に対して完全または部分的な裏付けを提供するかどうかの含意推論に基づいて、セットカバー問題から MEG の特定を削減できることを示します。
私たちが提案したアプローチは、LLM プロンプトと比較して WiCE および SciFact データセットで 18.4% および 34.8% の絶対的な改善を達成しました。
最後に、請求生成などの下流アプリケーションにおける MEG の利点を示します。

要約(オリジナル)

Claim verification in real-world settings (e.g. against a large collection of candidate evidences retrieved from the web) typically requires identifying and aggregating a complete set of evidence pieces that collectively provide full support to the claim. The problem becomes particularly challenging when there exists distinct sets of evidence that could be used to verify the claim from different perspectives. In this paper, we formally define and study the problem of identifying such minimal evidence groups (MEGs) for claim verification. We show that MEG identification can be reduced from Set Cover problem, based on entailment inference of whether a given evidence group provides full/partial support to a claim. Our proposed approach achieves 18.4% and 34.8% absolute improvements on the WiCE and SciFact datasets over LLM prompting. Finally, we demonstrate the benefits of MEGs in downstream applications such as claim generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google