Benchmarking the Generation of Fact Checking Explanations

要約

誤った情報との戦いは困難ではありますが、極めて重要な課題です。
手作業による事実確認に携わる専門家の数が増えているにもかかわらず、この作業には時間がかかり、日々増え続けるフェイクニュースの量に追いつくことができません。
したがって、誤った情報を抑制するには、このプロセスを自動化することが必要です。
これまでのところ、研究者は主に主張の真実性の分類に焦点を当ててきました。
代わりに、このホワイトペーパーでは、正当化 (主張が真または偽のいずれかに分類される理由のテキストによる説明) の生成に取り組み、新しいデータセットと高度なベースラインを使用してベンチマークを行います。
特に、私たちは非構造化知識 (ニュース記事など) よりも要約アプローチに焦点を当て、いくつかの抽出的および抽象的な戦略を実験します。
調査結果の一般化可能性を評価するために、スタイルと構造が異なる 2 つのデータセットを使用しました。
結果は、正当化において、要約生成がクレーム情報から恩恵を受けること、特に、クレーム主導の抽出ステップが抽象的な要約パフォーマンスを向上させることを示しています。
最後に、クロスデータセットの実験ではパフォーマンスの低下が発生しますが、2 つのデータセットの組み合わせでトレーニングされた独自のモデルは効率的な方法でスタイル情報を保持できることを示します。

要約(オリジナル)

Fighting misinformation is a challenging, yet crucial, task. Despite the growing number of experts being involved in manual fact-checking, this activity is time-consuming and cannot keep up with the ever-increasing amount of Fake News produced daily. Hence, automating this process is necessary to help curb misinformation. Thus far, researchers have mainly focused on claim veracity classification. In this paper, instead, we address the generation of justifications (textual explanation of why a claim is classified as either true or false) and benchmark it with novel datasets and advanced baselines. In particular, we focus on summarization approaches over unstructured knowledge (i.e. news articles) and we experiment with several extractive and abstractive strategies. We employed two datasets with different styles and structures, in order to assess the generalizability of our findings. Results show that in justification production summarization benefits from the claim information, and, in particular, that a claim-driven extractive step improves abstractive summarization performances. Finally, we show that although cross-dataset experiments suffer from performance degradation, a unique model trained on a combination of the two datasets is able to retain style information in an efficient manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google