BEVERS: A General, Simple, and Performant Framework for Automatic Fact Verification

要約

自動事実検証は、近年ますます人気のあるトピックになってきており、データセットの中で、Fact Extraction and VERification (FEVER) データセットは最も人気のあるものの 1 つです。
この作業では、FEVER データセット用に調整されたベースライン システムである BEVERS を紹介します。
私たちのパイプラインは、ドキュメントの検索、文の選択、および最終的なクレームの分類に標準的なアプローチを使用していますが、各コンポーネントの最適なパフォーマンスを確保するためにかなりの労力を費やしています。
その結果、BEVERS は公開、未公開を問わず、すべてのシステムの中で最高の FEVER スコアとラベル精度を達成しています。
また、このパイプラインを別の事実検証データセットである Scifact に適用し、そのデータセットでもすべてのシステムの中で最高のラベル精度を達成しています。
完全なコードも公開しています。

要約(オリジナル)

Automatic fact verification has become an increasingly popular topic in recent years and among datasets the Fact Extraction and VERification (FEVER) dataset is one of the most popular. In this work we present BEVERS, a tuned baseline system for the FEVER dataset. Our pipeline uses standard approaches for document retrieval, sentence selection, and final claim classification, however, we spend considerable effort ensuring optimal performance for each component. The results are that BEVERS achieves the highest FEVER score and label accuracy among all systems, published or unpublished. We also apply this pipeline to another fact verification dataset, Scifact, and achieve the highest label accuracy among all systems on that dataset as well. We also make our full code available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google