Fact Checking Beyond Training Set

要約

日常的な主張の真実性を評価するには時間がかかり、場合によってはその分野の専門知識が必要になります。
私たちは、レトリーバー リーダーとして知られる一般的に使用されるファクト チェック パイプラインが、あるドメインからのラベル付きデータでトレーニングされ、別のドメインで使用されるとパフォーマンスが低下することを経験的に示しています。
その後、パイプラインの各コンポーネントを詳しく調べ、この問題に対処するための新しいアルゴリズムを提案します。
我々は、分布の変化に対してレトリーバーコンポーネントを堅牢にするための敵対的アルゴリズムを提案します。
私たちの中心となるアイデアは、最初にラベル付きソース データでバイ エンコーダーをトレーニングし、次にラベルなしターゲット データを使用して 2 つの別個のドキュメント エンコーダーとクレーム エンコーダーを敵対的にトレーニングすることです。
次に、リーダー コンポーネントに焦点を当て、クレームと証拠文書の順序に影響されないようにトレーニングすることを提案します。
私たちの経験的評価は、そのようなリーダーが分布の変化に対してより高い堅牢性を示すという仮説を裏付けています。
私たちの知る限り、公的に利用可能な複数トピックのファクトチェック データセットはありません。
そこで、2 つのよく知られたファクトチェック データセットを再利用する簡単な自動方法を提案します。
次に、これらのデータセットから 8 つのファクト チェック シナリオを構築し、合成データの生成に GPT4 を使用する最近のドメイン適応モデルを含む一連の強力なベースライン モデルとモデルを比較します。

要約(オリジナル)

Evaluating the veracity of everyday claims is time consuming and in some cases requires domain expertise. We empirically demonstrate that the commonly used fact checking pipeline, known as the retriever-reader, suffers from performance deterioration when it is trained on the labeled data from one domain and used in another domain. Afterwards, we delve into each component of the pipeline and propose novel algorithms to address this problem. We propose an adversarial algorithm to make the retriever component robust against distribution shift. Our core idea is to initially train a bi-encoder on the labeled source data, and then, to adversarially train two separate document and claim encoders using unlabeled target data. We then focus on the reader component and propose to train it such that it is insensitive towards the order of claims and evidence documents. Our empirical evaluations support the hypothesis that such a reader shows a higher robustness against distribution shift. To our knowledge, there is no publicly available multi-topic fact checking dataset. Thus, we propose a simple automatic method to re-purpose two well-known fact checking datasets. We then construct eight fact checking scenarios from these datasets, and compare our model to a set of strong baseline models, including recent domain adaptation models that use GPT4 for generating synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google