From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

要約

大規模言語モデル (LLM) は、幻覚やシーケンスの繰り返しなどの望ましくない動作を示すことがよくあります。
私たちは、これらの動作を不確実性の下でモデルが示すフォールバックとみなして、それらの間の関係を調査することを提案します。
私たちはフォールバック動作 (シーケンスの繰り返し、劣化したテキスト、幻覚) を分類し、事前トレーニング トークンの量、パラメーター数、または指示に従うトレーニングの有無が異なる同じファミリーのモデルでそれらを広範囲に分析します。
私たちの実験では、これらすべての軸にわたって、フォールバック動作の明確で一貫した順序付けが明らかになりました。LLM が高度になると (つまり、より多くのトークンでトレーニングされ、より多くのパラメーターがあり、命令が調整されていると)、そのフォールバック動作はシーケンスの繰り返しから、
堕落したテキスト、そして幻覚へ。
さらに、最もパフォーマンスの高いモデルであっても、単一世代を通じて同じ順序が観察されます。
不確実性が高まるにつれて、モデルは幻覚の生成から、劣化したテキストの生成、そしてシーケンスの繰り返しの生成へと移行します。
最後に、ランダム サンプリングなどの一般的なデコード技術は、シーケンスの繰り返しなどの一部の望ましくない動作を軽減する可能性がある一方で、検出が困難な幻覚を増加させることを示します。

要約(オリジナル)

Large language models (LLMs) often exhibit undesirable behaviors, such as hallucinations and sequence repetitions. We propose to view these behaviors as fallbacks that models exhibit under uncertainty, and investigate the connection between them. We categorize fallback behaviors — sequence repetitions, degenerate text, and hallucinations — and extensively analyze them in models from the same family that differ by the amount of pretraining tokens, parameter count, or the inclusion of instruction-following training. Our experiments reveal a clear and consistent ordering of fallback behaviors, across all these axes: the more advanced an LLM is (i.e., trained on more tokens, has more parameters, or instruction-tuned), its fallback behavior shifts from sequence repetitions, to degenerate text, and then to hallucinations. Moreover, the same ordering is observed throughout a single generation, even for the best-performing models; as uncertainty increases, models shift from generating hallucinations to producing degenerate text and then sequence repetitions. Lastly, we demonstrate that while common decoding techniques, such as random sampling, might alleviate some unwanted behaviors like sequence repetitions, they increase harder-to-detect hallucinations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google