Language Model Decoding as Likelihood-Utility Alignment

要約

言語生成パイプラインを成功させるための重要なコンポーネントは、デコード アルゴリズムです。
ただし、復号化アルゴリズムの選択を導くべき一般原則は不明のままです。
以前の研究では、狭いシナリオでのデコード アルゴリズムのみを比較しており、その結果はタスク間で一般化されていません。
モデルの可能性とタスク固有のユーティリティの概念との間の不一致は、アルゴリズムをデコードする有効性を理解するための重要な要素であると主張します。
議論を構造化するために、アライメントのツールとしてのデコーディングの統一されたビューを提供する、ミスアライメント緩和戦略 (MMS) の分類法を紹介します。
MMS 分類法は、尤度に関する暗黙の仮定に基づいてデコード アルゴリズムをグループ化します。
具体的には、さまざまな一連のタスクにわたる予測の可能性と有用性の相関関係を分析することにより、提案された分類法を裏付ける経験的証拠と、復号化アルゴリズムを選択する際の推論を構造化するための一連の原則を提供します。
重要なことに、私たちの分析は、尤度ベースのデコードアルゴリズムを、価値に基づく方法やプロンプトなどの外部情報に依存するアルゴリズムと関連付けた最初のものであり、これまでで最も多様なタスクのセットをカバーしています.
コード、データ、およびモデルは、https://github.com/epfl-dlab/understanding-decoding で入手できます。

要約(オリジナル)

A critical component of a successful language generation pipeline is the decoding algorithm. However, the general principles that should guide the choice of a decoding algorithm remain unclear. Previous works only compare decoding algorithms in narrow scenarios, and their findings do not generalize across tasks. We argue that the misalignment between the model’s likelihood and the task-specific notion of utility is the key factor to understanding the effectiveness of decoding algorithms. To structure the discussion, we introduce a taxonomy of misalignment mitigation strategies (MMSs), providing a unifying view of decoding as a tool for alignment. The MMS taxonomy groups decoding algorithms based on their implicit assumptions about likelihood–utility misalignment, yielding general statements about their applicability across tasks. Specifically, by analyzing the correlation between the likelihood and the utility of predictions across a diverse set of tasks, we provide empirical evidence supporting the proposed taxonomy and a set of principles to structure reasoning when choosing a decoding algorithm. Crucially, our analysis is the first to relate likelihood-based decoding algorithms with algorithms that rely on external information, such as value-guided methods and prompting, and covers the most diverse set of tasks to date. Code, data, and models are available at https://github.com/epfl-dlab/understanding-decoding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google