Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs

要約

この章では、局所的に典型的なサンプリング（LTS）アルゴリズムの強化に焦点を当てた、大規模な言語モデル（LLMS）のデコード戦略の進歩について説明します。
トップKや核サンプリングなどの従来のデコード方法は、テキスト生成の流encyさ、多様性、一貫性のバランスをとるのに苦労することがよくあります。
これらの課題に対処するために、適応的なセマンティックに対応する典型的なサンプリング（AST）がLTSの改良バージョンとして提案されています。動的エントロピーのしきい値、多目的スコアリング、および報酬ペナルティ調整を組み込んでいます。
ASTは、計算効率を維持しながら、文脈的に一貫性のある多様なテキスト生成を保証します。
そのパフォーマンスは、困惑、Mauve、Diversityスコアなどのメトリックを使用して、ストーリー生成や抽象的な要約を含む複数のベンチマークで評価されます。
実験結果は、ASTが繰り返しを減らし、セマンティックアライメントを強化し、流ency性を改善することにより、既存のサンプリング手法よりも優れていることを示しています。

要約(オリジナル)

This chapter explores advancements in decoding strategies for large language models (LLMs), focusing on enhancing the Locally Typical Sampling (LTS) algorithm. Traditional decoding methods, such as top-k and nucleus sampling, often struggle to balance fluency, diversity, and coherence in text generation. To address these challenges, Adaptive Semantic-Aware Typicality Sampling (ASTS) is proposed as an improved version of LTS, incorporating dynamic entropy thresholding, multi-objective scoring, and reward-penalty adjustments. ASTS ensures contextually coherent and diverse text generation while maintaining computational efficiency. Its performance is evaluated across multiple benchmarks, including story generation and abstractive summarization, using metrics such as perplexity, MAUVE, and diversity scores. Experimental results demonstrate that ASTS outperforms existing sampling techniques by reducing repetition, enhancing semantic alignment, and improving fluency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google