CASTILLO: Characterizing Response Length Distributions of Large Language Models

要約

大規模な言語モデル（LLM）推論のコンピューテリソースを効率的に管理することは、本質的に確率的で可変的な長さの自己回帰テキスト生成のために依然として困難です。
応答の長さを事前に正確に推定することにより、プロアクティブなリソース割り当てが可能になりますが、既存のアプローチは、特定の長さに向けてテキスト生成をバイアスするか、モデルおよび迅速な特異的変動を無視する仮定に依存します。
Castilloを紹介します。これは、7つの異なる指導に従うコーパスで評価されている13の広く使用されているオープンソースLLMにわたって応答長分布を特徴付けるデータセットを紹介します。
$ \ langle $プロンプト、モデル$ \ rangle $ sampleペアごとに、固定デコードハイパーパラメーターを使用して10の独立した完了を生成し、各応答のトークン長を記録し、概要統計（平均、std-dev、パーセンタイル）、および最短および最長の完了、および正確な発電設定を公開します。
私たちの分析では、応答長（同一の生成設定下であっても）における重要なモデル間およびモデル内の変動、および応答のサブセットのみにおける部分的なテキスト変性のモデル固有の動作と発生が明らかになります。
Castilloは、プロアクティブなスケジューリングの予測モデルの開発を可能にし、モデル固有の生成行動を分析するための体系的なフレームワークを提供します。
データセットとコードを公開して、生成言語モデリングとシステムの交差点で研究を促進します。

要約(オリジナル)

Efficiently managing compute resources for Large Language Model (LLM) inference remains challenging due to the inherently stochastic and variable lengths of autoregressive text generation. Accurately estimating response lengths in advance enables proactive resource allocation, yet existing approaches either bias text generation towards certain lengths or rely on assumptions that ignore model- and prompt-specific variability. We introduce CASTILLO, a dataset characterizing response length distributions across 13 widely-used open-source LLMs evaluated on seven distinct instruction-following corpora. For each $\langle$prompt, model$\rangle$ sample pair, we generate 10 independent completions using fixed decoding hyper-parameters, record the token length of each response, and publish summary statistics (mean, std-dev, percentiles), along with the shortest and longest completions, and the exact generation settings. Our analysis reveals significant inter- and intra-model variability in response lengths (even under identical generation settings), as well as model-specific behaviors and occurrences of partial text degeneration in only subsets of responses. CASTILLO enables the development of predictive models for proactive scheduling and provides a systematic framework for analyzing model-specific generation behaviors. We publicly release the dataset and code to foster research at the intersection of generative language modeling and systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google