EDT: Improving Large Language Models’ Generation by Entropy-based Dynamic Temperature Sampling

要約

近年、大規模言語モデル（Large Language Models: LLM）は、様々な下流言語タスクにおいて卓越した性能を発揮している。温度サンプリングは、LLMの生成プロセスで一般的に使用されるデコード戦略である。しかし、多くの場合、固定された温度パラメータが使用されており、生成品質と多様性のバランスをとるために必ずしも最適な選択とは限らない。本論文では、温度パラメータを動的に選択することにより、生成品質と多様性の両面でよりバランスの取れた性能を達成するために、効果的なエントロピーベースの動的温度（EDT）サンプリング法を提案する。さらに、4つの異なる世代ベンチマークに対するモデル性能と包括的な解析も示す。我々の実験は、EDTが異なるタスクにおいて既存の戦略を大幅に上回ることを示している。

要約(オリジナル)

Recently, Large Language Models (LLMs) have demonstrated outstanding performance across a wide range of downstream language tasks. Temperature sampling is a commonly used decoding strategy for LLMs’ generation process. However, a fixed temperature parameter is used in most cases, which may not always be an optimal choice for balancing generation quality and diversity. In this paper, we propose an effective Entropy-based Dynamic Temperature (EDT) Sampling method, to achieve a more balanced performance in terms of both generation quality and diversity by dynamically selecting the temperature parameter. Additionally, we also show model performance and comprehensive analyses for 4 different generation benchmarks. Our experiments show that EDT significantly outperforms the existing strategies across different tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL