MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents

要約

LLM 出力が証拠に基づくことができるかどうかを認識することは、検索拡張生成、要約、文書に基づく対話など、NLP の多くのタスクの中心となります。
この種の「ファクトチェック」に対する現在のアプローチは、LLM を使用してモデル生成の各部分を潜在的な証拠と照合して検証することに基づいています。
ただし、このプロセスは計算コストが非常に高くなる可能性があり、1 つの応答を確認するために LLM を何度も呼び出す必要があります。
この研究では、GPT-4 レベルのパフォーマンスを持ちながら 400 分の 1 のコストで小規模なモデルを構築する方法を示します。
これを行うには、GPT-4 を使用して合成トレーニング データを構築します。これには、構造化された生成手順を介して、現実的だが困難な事実上の誤りのインスタンスを作成することが含まれます。
このデータのトレーニングにより、モデルに主張内の各事実を確認し、文全体にわたる情報の合成を認識するよう教えます。
評価のために、既存のデータセットをベンチマーク LLM-AggreFact に統合します。このベンチマークは、LLM 生成のファクトチェックと基礎付けに関する最近の作業から収集されました。
当社の最高のシステム MiniCheck-FT5 (770M パラメーター) は、同等のサイズのすべてのシステムを上回り、GPT-4 精度に達します。
LLM-AggreFact、データ合成用のコード、モデルを公開しています。

要約(オリジナル)

Recognizing if LLM output can be grounded in evidence is central to many tasks in NLP: retrieval-augmented generation, summarization, document-grounded dialogue, and more. Current approaches to this kind of ‘fact-checking’ are based on verifying each piece of a model generation against potential evidence using an LLM. However, this process can be very computationally expensive, requiring many calls to LLMs to check a single response. In this work, we show how to build small models that have GPT-4-level performance but for 400x lower cost. We do this by constructing synthetic training data with GPT-4, which involves creating realistic yet challenging instances of factual errors via a structured generation procedure. Training on this data teaches models to check each fact in the claim and recognize synthesis of information across sentences. For evaluation, we unify pre-existing datasets into a benchmark LLM-AggreFact, collected from recent work on fact-checking and grounding LLM generations. Our best system MiniCheck-FT5 (770M parameters) outperforms all systems of comparable size and reaches GPT-4 accuracy. We release LLM-AggreFact, code for data synthesis, and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google