Unsupervised Fact Verification by Language Model Distillation

要約

教師なし事実検証は、いかなる種類のデータ注釈も付けずに、信頼できる知識ベースからの証拠を使用して主張を検証することを目的としています。
この課題に対処するために、アルゴリズムは、意味的に意味があり、ソース情報との意味上の整合性を見つけるのに十分コンパクトな、すべてのクレームの特徴を生成する必要があります。
注釈付きのクレームのコーパスとそれに対応するラベルを学習することでアライメント問題に取り組んだ以前の研究とは対照的に、我々は、事前にトレーニングされた言語モデルを活用する新しい教師なしフレームワークである SFAVEL (言語モデル蒸留による自己教師あり事実検証) を提案します。
アノテーションを必要とせずに、自己教師付き特徴を高品質なクレームと事実の整合に抽出します。
これは、コーパス全体の意味関係を維持しながら、特徴が高品質の主張と証拠の整合を達成することを促進する、新しい対照的な損失関数によって可能になります。
特に、線形評価による標準的な FEVER 事実検証ベンチマーク (精度 +8%) で新しい最先端を達成する結果を示しています。

要約(オリジナル)

Unsupervised fact verification aims to verify a claim using evidence from a trustworthy knowledge base without any kind of data annotation. To address this challenge, algorithms must produce features for every claim that are both semantically meaningful, and compact enough to find a semantic alignment with the source information. In contrast to previous work, which tackled the alignment problem by learning over annotated corpora of claims and their corresponding labels, we propose SFAVEL (Self-supervised Fact Verification via Language Model Distillation), a novel unsupervised framework that leverages pre-trained language models to distil self-supervised features into high-quality claim-fact alignments without the need for annotations. This is enabled by a novel contrastive loss function that encourages features to attain high-quality claim and evidence alignments whilst preserving the semantic relationships across the corpora. Notably, we present results that achieve a new state-of-the-art on the standard FEVER fact verification benchmark (+8% accuracy) with linear evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google