Are Large Language Models Good Fact Checkers: A Preliminary Study

要約

最近、大規模言語モデル (LLM) は、その卓越した推論機能と広範な知識リポジトリにより大きな注目を集めており、他の言語モデルと比較してさまざまな自然言語処理タスクの処理において優れていると位置づけられています。
このペーパーでは、ファクトチェックにおける LLM の可能性に関する予備調査を紹介します。
この研究は、特定のファクトチェックサブタスクに取り組む際にさまざまな LLM を包括的に評価し、その能力を系統的に評価し、事前トレーニングされた最先端の低パラメーター モデルとのパフォーマンスの比較分析を実施することを目的としています。
実験では、LLM がほとんどのシナリオで他の小型モデルと比較して競争力のあるパフォーマンスを達成することが実証されています。
しかし、言語の不一致や幻覚のため、中国の事実確認と事実確認パイプライン全体を効果的に処理する際に課題に直面しています。
これらの発見は、信頼できるファクトチェッカーとしての LLM の能力を向上させるためのさらなる探索と研究の必要性を強調し、LLM の潜在的な能力とファクトチェックタスクにおける潜在的な課題を明らかにします。

要約(オリジナル)

Recently, Large Language Models (LLMs) have drawn significant attention due to their outstanding reasoning capabilities and extensive knowledge repository, positioning them as superior in handling various natural language processing tasks compared to other language models. In this paper, we present a preliminary investigation into the potential of LLMs in fact-checking. This study aims to comprehensively evaluate various LLMs in tackling specific fact-checking subtasks, systematically evaluating their capabilities, and conducting a comparative analysis of their performance against pre-trained and state-of-the-art low-parameter models. Experiments demonstrate that LLMs achieve competitive performance compared to other small models in most scenarios. However, they encounter challenges in effectively handling Chinese fact verification and the entirety of the fact-checking pipeline due to language inconsistencies and hallucinations. These findings underscore the need for further exploration and research to enhance the proficiency of LLMs as reliable fact-checkers, unveiling the potential capability of LLMs and the possible challenges in fact-checking tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google