Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs

要約

大規模な言語モデル（LLMS）は、各デコードステップでの語彙上の確率分布から次のトークンをサンプリングすることにより、テキストを生成します。
TOP-P（核サンプリング）などの一般的なサンプリング方法は、特により高い温度での品質と多様性のバランスをとるのに苦労しています。
MIN-Pサンプリングを提案します。これは、上位トークンの確率をスケーリング係数として使用することにより、モデルの信頼性に基づいてサンプリングのしきい値を調整する動的な切り捨て方法です。
GPQA、GSM8K、およびアルパカエバルクリエイティブライティングを含むベンチマークに関する実験は、MIN-Pサンプリングが異なるモデルファミリ（MistralおよびLlama 3）とモデルサイズ（1Bから123Bパラメーター）にわたって生成されたテキストの品質と多様性の両方を改善することを示しています。
人間の評価は、テキストの品質と創造性の両方において、MIN-Pサンプリングの明確な好みをさらに示しています。
MIN-Pサンプリングは、フェイストランスやVLLMなどの抱き合ったハグを含む、一般的なオープンソースLLMフレームワークによって採用されており、テキスト生成の品質の向上に大きな影響を与えています。

要約(オリジナル)

Large Language Models (LLMs) generate text by sampling the next token from a probability distribution over the vocabulary at each decoding step. Popular sampling methods like top-p (nucleus sampling) often struggle to balance quality and diversity, especially at higher temperatures which lead to incoherent or repetitive outputs. We propose min-p sampling, a dynamic truncation method that adjusts the sampling threshold based on the model’s confidence by using the top token’s probability as a scaling factor. Our experiments on benchmarks including GPQA, GSM8K, and AlpacaEval Creative Writing show that min-p sampling improves both the quality and diversity of generated text across different model families (Mistral and Llama 3) and model sizes (1B to 123B parameters), especially at higher temperatures. Human evaluations further show a clear preference for min-p sampling, in both text quality and creativity. Min-p sampling has been adopted by popular open-source LLM frameworks, including Hugging Face Transformers, VLLM, and many others, highlighting its considerable impact on improving text generation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google