MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents

要約

LLM 出力が証拠に基づくことができるかどうかを認識することは、検索拡張生成、要約、文書に基づく対話など、NLP の多くのタスクの中心となります。
この種のファクトチェックに対する現在のアプローチは、LLM を使用して潜在的な証拠に対してモデル生成の各部分を検証することに基づいています。
ただし、このプロセスは計算コストが非常に高くなる可能性があり、1 つの応答を確認するためにモデルを何度も呼び出す必要があります。
この研究では、GPT-4 レベルのパフォーマンスを持ちながら 400 分の 1 のコストで小規模なファクトチェック モデルを構築する方法を示します。
これを行うには、GPT-4 を使用して合成トレーニング データを構築します。これには、構造化された生成手順を介して、現実的だが困難な事実上の誤りのインスタンスを作成することが含まれます。
このデータのトレーニングにより、モデルに主張内の各事実を確認し、文全体にわたる情報の合成を認識するよう教えます。
評価のために、LLM 生成のファクトチェックと基礎に関する最近の作業からのデータセットを新しいベンチマークである LLM-AggreFact に統合します。
当社の最高のシステム MiniCheck-FT5 (770M パラメーター) は、同等のサイズのすべてのシステムを上回り、GPT-4 精度に達します。
LLM-AggreFact、データ合成用のコード、モデルを公開しています。

要約(オリジナル)

Recognizing if LLM output can be grounded in evidence is central to many tasks in NLP: retrieval-augmented generation, summarization, document-grounded dialogue, and more. Current approaches to this kind of fact-checking are based on verifying each piece of a model generation against potential evidence using an LLM. However, this process can be very computationally expensive, requiring many calls to a model to check a single response. In this work, we show how to build small fact-checking models that have GPT-4-level performance but for 400x lower cost. We do this by constructing synthetic training data with GPT-4, which involves creating realistic yet challenging instances of factual errors via a structured generation procedure. Training on this data teaches models to check each fact in the claim and recognize synthesis of information across sentences. For evaluation, we unify datasets from recent work on fact-checking and grounding LLM generations into a new benchmark, LLM-AggreFact. Our best system MiniCheck-FT5 (770M parameters) outperforms all systems of comparable size and reaches GPT-4 accuracy. We release LLM-AggreFact, code for data synthesis, and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google