APAR: LLMs Can Do Auto-Parallel Auto-Regressive Decoding

要約

大規模言語モデル (LLM) を大規模に導入するには、効率的な導入戦略が必要です。
ただし、ほとんどの LLM がテキストを生成する方法の基礎となる自動回帰デコード プロセスは、効率的なサービスを実現する上で課題を引き起こします。
この研究では、並列自動回帰生成手法を導入します。
階層構造を含む一般的なドメイン データを指示チューニングすることで、LLM が独自に生成プロセスを計画し、自動並列自動回帰 (APAR) 生成を実行できるようになり、生成ステップの数が大幅に削減されます。
APAR 単独で最大 2 倍の高速化を実現でき、投機的デコードと組み合わせると最大 4 倍の高速化が可能です。
さらに、APAR は、生成時のキーと値のキャッシュの消費とアテンションの計算を削減します。
これにより、最先端のサービス提供フレームワークと比較して、高スループット シナリオではスループットが 20 ～ 70% 向上し、レイテンシが 20 ～ 35% 削減されます。

要約(オリジナル)

The massive adoption of large language models (LLMs) demands efficient deployment strategies. However, the auto-regressive decoding process, which is fundamental to how most LLMs generate text, poses challenges to achieve efficient serving. In this work, we introduce a parallel auto-regressive generation method. By instruct-tuning on general domain data that contains hierarchical structures, we enable LLMs to independently plan their generation process and perform auto-parallel auto-regressive (APAR) generation, significantly reducing the number of generation steps. APAR alone can achieve up to 2x speed-up, and when combined with speculative decoding, the speed-up can reach up to 4x. In addition, APAR reduces the key-value cache consumption and attention computation during generation. This leads to a throughput increase of 20-70% and a latency reduce of 20-35% in high-throughput scenarios, compared to state-of-the-art serving frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google