Long-form factuality in large language models

要約

大規模言語モデル (LLM) は、自由形式のトピックに関する事実調査のプロンプトに応答するときに、事実誤認を含むコンテンツを生成することがよくあります。
オープンドメインにおけるモデルの長い形式の事実性のベンチマークを行うために、最初に GPT-4 を使用して LongFact を生成します。LongFact は、38 のトピックにわたる数千の質問で構成されるプロンプト セットです。
次に、検索拡張事実評価 (SAFE) と呼ばれる方法を通じて、LLM エージェントを長文事実の自動評価として使用できることを提案します。
SAFE は LLM を利用して、長い形式の応答を個々の事実のセットに分解し、Google 検索への検索クエリの送信と、事実が検索によってサポートされるかどうかの判断を含む複数ステップの推論プロセスを使用して各事実の正確さを評価します。
結果。
さらに、長文の事実性の集計指標として F1 スコアを拡張することを提案します。
そのために、応答内でサポートされているファクトの割合 (精度) と、ユーザーの好みの応答の長さを表すハイパーパラメータに対する提供されたファクトの割合 (再現率) のバランスをとります。
経験的に、LLM エージェントが超人的な評価パフォーマンスを達成できることを示しています。約 16,000 個の個別の事実のセットに関して、SAFE は 72% の確率でクラウドソースのヒューマン アノテーターと一致し、100 件の不一致ケースのランダムなサブセットでは、SAFE が 76% の確率で勝利します。
時間。
同時に、SAFE はヒューマン アノテーターよりも 20 倍以上安価です。
また、4 つのモデル ファミリ (Gemini、GPT、Claude、PaLM-2) にわたる LongFact の 13 の言語モデルのベンチマークを行ったところ、言語モデルが大きいほど、一般的に長い形式の事実性が向上することがわかりました。
LongFact、SAFE、およびすべての実験的なコードは、https://github.com/google-deepmind/long-form-factuality で入手できます。

要約(オリジナル)

Large language models (LLMs) often generate content that contains factual errors when responding to fact-seeking prompts on open-ended topics. To benchmark a model’s long-form factuality in open domains, we first use GPT-4 to generate LongFact, a prompt set comprising thousands of questions spanning 38 topics. We then propose that LLM agents can be used as automated evaluators for long-form factuality through a method which we call Search-Augmented Factuality Evaluator (SAFE). SAFE utilizes an LLM to break down a long-form response into a set of individual facts and to evaluate the accuracy of each fact using a multi-step reasoning process comprising sending search queries to Google Search and determining whether a fact is supported by the search results. Furthermore, we propose extending F1 score as an aggregated metric for long-form factuality. To do so, we balance the percentage of supported facts in a response (precision) with the percentage of provided facts relative to a hyperparameter representing a user’s preferred response length (recall). Empirically, we demonstrate that LLM agents can achieve superhuman rating performance – on a set of ~16k individual facts, SAFE agrees with crowdsourced human annotators 72% of the time, and on a random subset of 100 disagreement cases, SAFE wins 76% of the time. At the same time, SAFE is more than 20 times cheaper than human annotators. We also benchmark thirteen language models on LongFact across four model families (Gemini, GPT, Claude, and PaLM-2), finding that larger language models generally achieve better long-form factuality. LongFact, SAFE, and all experimental code are available at https://github.com/google-deepmind/long-form-factuality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google