AmbiFC: Fact-Checking Ambiguous Claims with Evidence

要約

自動化された事実確認システムは、主張を証拠と照らし合わせて検証し、その真実性を予測します。
現実のシナリオでは、取得された証拠がその主張を明確に裏付けたり反駁したりするわけではなく、矛盾しているが有効な解釈を生み出す可能性があります。
既存のファクトチェックデータセットは、それを使用して開発されたモデルが各主張に対して単一の真実性ラベルを予測すると仮定しているため、そのような曖昧さの処理を妨げています。
この問題に対処するために、実際の情報ニーズから得られた 10,000 件のクレームを含むファクトチェック データセットである AmbiFC を紹介します。
これには、Wikipedia の 5,000 ページの 50,000 個の文章のきめ細かい証拠の注釈が含まれています。
私たちは、AmbiFC で主張と証拠を比較する際に曖昧さから生じる不一致を分析し、アノテーターの不一致と過少仕様や確率論的推論などの言語現象との強い相関関係を観察しました。
私たちは、ソフトラベルを介してこの曖昧さを処理する真実性を予測するモデルを開発し、文レベルの証拠選択と真実性予測のためにラベル分布を学習するパイプラインが最高のパフォーマンスを生み出すことを発見しました。
AmbiFC のさまざまなサブセットでトレーニングされたモデルを比較し、特定された言語現象に直面した場合、曖昧なインスタンスでトレーニングされたモデルのパフォーマンスが向上することを示します。

要約(オリジナル)

Automated fact-checking systems verify claims against evidence to predict their veracity. In real-world scenarios, the retrieved evidence may not unambiguously support or refute the claim and yield conflicting but valid interpretations. Existing fact-checking datasets assume that the models developed with them predict a single veracity label for each claim, thus discouraging the handling of such ambiguity. To address this issue we present AmbiFC, a fact-checking dataset with 10k claims derived from real-world information needs. It contains fine-grained evidence annotations of 50k passages from 5k Wikipedia pages. We analyze the disagreements arising from ambiguity when comparing claims against evidence in AmbiFC, observing a strong correlation of annotator disagreement with linguistic phenomena such as underspecification and probabilistic reasoning. We develop models for predicting veracity handling this ambiguity via soft labels and find that a pipeline that learns the label distribution for sentence-level evidence selection and veracity prediction yields the best performance. We compare models trained on different subsets of AmbiFC and show that models trained on the ambiguous instances perform better when faced with the identified linguistic phenomena.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google