Semantically Diverse Language Generation for Uncertainty Estimation in Language Models

要約

大規模言語モデル (LLM) は、テキストを生成するときに幻覚に悩まされる可能性があります。
これらの幻覚は、LLM を信頼できないものにし、社会や産業におけるさまざまな応用を妨げます。
現在の LLM は、テキスト トークンを予測して追加することにより、自己回帰方式でテキストを生成します。
LLM が次に生成するトークンの意味論的な意味が不明な場合、幻覚が見られる可能性があります。
したがって、幻覚は予測の不確実性から生じることが示唆されています。
LLM の予測不確実性を定量化するために、意味的に多様な言語生成 (SDLG) を導入します。
SDLG は、最初に生成されたテキストに対して、意味的に多様でありながら可能性の高い代替案を生成するように LLM を制御します。
このアプローチは、最初のテキストが幻覚である可能性が高いかどうかを検出して、偶然の意味の不確実性を正確に測定します。
質問応答タスクの実験では、SDLG が既存の手法を常に上回り、計算効率が最も高いことが実証され、LLM における不確実性推定の新しい標準を確立します。

要約(オリジナル)

Large language models (LLMs) can suffer from hallucinations when generating text. These hallucinations impede various applications in society and industry by making LLMs untrustworthy. Current LLMs generate text in an autoregressive fashion by predicting and appending text tokens. When an LLM is uncertain about the semantic meaning of the next tokens to generate, it is likely to start hallucinating. Thus, it has been suggested that hallucinations stem from predictive uncertainty. We introduce Semantically Diverse Language Generation (SDLG) to quantify predictive uncertainty in LLMs. SDLG steers the LLM to generate semantically diverse yet likely alternatives for an initially generated text. This approach provides a precise measure of aleatoric semantic uncertainty, detecting whether the initial text is likely to be hallucinated. Experiments on question-answering tasks demonstrate that SDLG consistently outperforms existing methods while being the most computationally efficient, setting a new standard for uncertainty estimation in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google