HeteroSpec: Leveraging Contextual Heterogeneity for Efficient Speculative Decoding

要約

大規模な言語モデル（LLM）推論の標準的なアプローチであるオートレーフレフデコードは、その連続的な性質のために重要なボトルネックのままです。
投機的デコードアルゴリズムは、並列検証を通じてこの非効率性を緩和しますが、言語の複雑さに固有の不均一性を活用することができません。
これに対処し、言語のコンテキストの複雑さに基づいて計算リソース割り当てを動的に最適化する不均一性に適した投機的デコードフレームワークであるヘテロセッキを提案します。
HeteroSpecは、予測可能なコンテキストを効率的に識別するための新しい累積メタパス上部$ $ k $エントロピーメトリックの2つの重要なメカニズムを導入します。
（2）データ駆動型のエントロピー分割に基づいた動的なリソース割り当て戦略、適応的な投機的拡張を可能にし、ローカルコンテキストの難易度に合わせた剪定。
5つのパブリックベンチマークと4つのモデルで評価されたHeteroSpecは、平均スピードアップ4.26 $ \ Times $を達成します。
スピードアップレート、平均受け入れ長、および検証コストを越えて、最先端のEagle-3を常に上回っています。
特に、HeteroSpecはドラフトモデル再訓練を必要とせず、最小限のオーバーヘッドを負担し、他の加速技術に直交します。
より強力なドラフトモデルによる加速度の強化を示し、コンテキストを認識したLLM推論の加速のための新しいパラダイムを確立します。

要約(オリジナル)

Autoregressive decoding, the standard approach for Large Language Model (LLM) inference, remains a significant bottleneck due to its sequential nature. While speculative decoding algorithms mitigate this inefficiency through parallel verification, they fail to exploit the inherent heterogeneity in linguistic complexity, a key factor leading to suboptimal resource allocation. We address this by proposing HeteroSpec, a heterogeneity-adaptive speculative decoding framework that dynamically optimizes computational resource allocation based on linguistic context complexity. HeteroSpec introduces two key mechanisms: (1) A novel cumulative meta-path Top-$K$ entropy metric for efficiently identifying predictable contexts. (2) A dynamic resource allocation strategy based on data-driven entropy partitioning, enabling adaptive speculative expansion and pruning tailored to local context difficulty. Evaluated on five public benchmarks and four models, HeteroSpec achieves an average speedup of 4.26$\times$. It consistently outperforms state-of-the-art EAGLE-3 across speedup rates, average acceptance length, and verification cost. Notably, HeteroSpec requires no draft model retraining, incurs minimal overhead, and is orthogonal to other acceleration techniques. It demonstrates enhanced acceleration with stronger draft models, establishing a new paradigm for context-aware LLM inference acceleration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google