SH2: Self-Highlighted Hesitation Helps You Decode More Truthfully

要約

大規模言語モデル (LLM) は、テキスト生成において優れたパフォーマンスを示します。
しかし、LLM は依然として幻覚に悩まされています。
この研究では、LLM がより正確にデコードできるよう、推論時手法である自己強調表示躊躇 (SH2) を提案します。
SH2 は、LLM の場合、より低い確率で予測されたトークンが他のトークンよりも有益である傾向があるという、情報理論に根ざした単純な事実に基づいています。
私たちの分析によると、LLM によって低い確率で割り当てられたトークンは、名詞、固有名詞、形容詞などの事実情報と密接に関連している可能性が高くなります。
したがって、最も低い確率でトークンを選択し、それらを元のコンテキストに連結することで事実の情報を「強調表示」し、モデルが生成前にこれらのトークンを繰り返し読み取ったり躊躇したりすることを強制することを提案します。
デコード時には、ためらいによる出力確率の違いを強調するために、対比デコードも採用しています。
実験結果は、追加のデータやモデルを必要としない当社の SH2 が、LLM が事実の知識を引き出し、幻覚の状況を区別するのに効果的に役立つことを示しています。
SH2 の LLaMA-7b および LLaMA2-7b では、複数の幻覚タスクにおいて大幅かつ一貫した改善が達成されています。

要約(オリジナル)

Large language models (LLMs) demonstrate great performance in text generation. However, LLMs are still suffering from hallucinations. In this work, we propose an inference-time method, Self-Highlighted Hesitation (SH2), to help LLMs decode more truthfully. SH2 is based on a simple fact rooted in information theory that for an LLM, the tokens predicted with lower probabilities are prone to be more informative than others. Our analysis shows that the tokens assigned with lower probabilities by an LLM are more likely to be closely related to factual information, such as nouns, proper nouns, and adjectives. Therefore, we propose to ”highlight” the factual information by selecting the tokens with the lowest probabilities and concatenating them to the original context, thus forcing the model to repeatedly read and hesitate on these tokens before generation. During decoding, we also adopt contrastive decoding to emphasize the difference in the output probabilities brought by the hesitation. Experimental results demonstrate that our SH2, requiring no additional data or models, can effectively help LLMs elicit factual knowledge and distinguish hallucinated contexts. Significant and consistent improvements are achieved by SH2 for LLaMA-7b and LLaMA2-7b on multiple hallucination tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google