EDT: Improving Large Language Models’ Generation by Entropy-based Dynamic Temperature Sampling

要約

最近、Large Language Model (LLM) は、幅広いダウンストリーム言語タスクにわたって優れたパフォーマンスを実証しました。
温度サンプリングは、LLM の生成プロセスで一般的に使用されるデコード戦略です。
ただし、ほとんどの場合、固定温度パラメータが使用され、これは生成品質と多様性のバランスを取る上で常に最適な選択であるとは限りません。
この論文では、温度パラメータを動的に選択することで、生成品質と多様性の両方の点でよりバランスの取れたパフォーマンスを実現する、効果的なエントロピーベースの動的温度 (EDT) サンプリング方法を提案します。
さらに、4 つの異なる世代ベンチマークのモデルのパフォーマンスと包括的な分析も示します。
私たちの実験では、EDT がさまざまなタスクにわたって既存の戦略を大幅に上回るパフォーマンスを示しています。

要約(オリジナル)

Recently, Large Language Models (LLMs) have demonstrated outstanding performance across a wide range of downstream language tasks. Temperature sampling is a commonly used decoding strategy for LLMs’ generation process. However, a fixed temperature parameter is used in most cases, which may not always be an optimal choice for balancing generation quality and diversity. In this paper, we propose an effective Entropy-based Dynamic Temperature (EDT) Sampling method, to achieve a more balanced performance in terms of both generation quality and diversity by dynamically selecting the temperature parameter. Additionally, we also show model performance and comprehensive analyses for 4 different generation benchmarks. Our experiments show that EDT significantly outperforms the existing strategies across different tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google