FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking

要約

自動ファクトチェックは、誤った情報の拡散に対抗する上で重要な役割を果たす。大規模言語モデル（LLM）やInstructGPTやAlpacaのような命令追従型モデルは、様々な自然言語処理タスクにおいて目覚ましい性能を示してきた。しかし、それらの知識は常に最新であったり、十分であったりするとは限らず、事実確認において不正確さを引き起こす可能性がある。この限界に対処するために、我々は、ファクトチェックのパフォーマンスを向上させるために、指示に従う言語モデルと外部証拠検索の力を組み合わせることを提案する。我々のアプローチでは、検索エンジンを活用して、与えられた入力クレームに関連する証拠を検索する。この外部証拠は、事前に訓練された言語モデルの知識を補強する貴重な補足情報として機能する。そして、このエビデンスを用いて、LLaMAと呼ばれるオープンソースの言語モデルのチューニングを指示し、入力クレームの真偽をより正確に予測できるようにする。我々の手法を評価するために、広く使われている2つのファクトチェックデータセットで実験を行った：RAWFCとLIARである。その結果、我々の手法が事実確認タスクにおいて最先端の性能を達成することが実証された。外部証拠を統合することで、モデルの知識と利用可能な最新かつ十分な文脈とのギャップを埋め、事実確認の結果を改善する。我々の発見は、誤報と闘い、オンライン・プラットフォームにおける正確な情報の普及を促進することに示唆を与えるものである。発表資料は、https://thcheung.github.io/factllama。

要約(オリジナル)

Automatic fact-checking plays a crucial role in combating the spread of misinformation. Large Language Models (LLMs) and Instruction-Following variants, such as InstructGPT and Alpaca, have shown remarkable performance in various natural language processing tasks. However, their knowledge may not always be up-to-date or sufficient, potentially leading to inaccuracies in fact-checking. To address this limitation, we propose combining the power of instruction-following language models with external evidence retrieval to enhance fact-checking performance. Our approach involves leveraging search engines to retrieve relevant evidence for a given input claim. This external evidence serves as valuable supplementary information to augment the knowledge of the pretrained language model. Then, we instruct-tune an open-sourced language model, called LLaMA, using this evidence, enabling it to predict the veracity of the input claim more accurately. To evaluate our method, we conducted experiments on two widely used fact-checking datasets: RAWFC and LIAR. The results demonstrate that our approach achieves state-of-the-art performance in fact-checking tasks. By integrating external evidence, we bridge the gap between the model’s knowledge and the most up-to-date and sufficient context available, leading to improved fact-checking outcomes. Our findings have implications for combating misinformation and promoting the dissemination of accurate information on online platforms. Our released materials are accessible at: https://thcheung.github.io/factllama.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL