LLM-PQ: Serving LLM on Heterogeneous Clusters with Phase-Aware Partition and Adaptive Quantization

要約

近年の大規模言語モデル（LLM）の飛躍的な進歩により、様々なタスクで素晴らしい性能が実証されている。LLMの巨大なサイズは、モデルを実行するための非常に高いリソース需要とコストにつながっています。現在、LLMは主に一律の大容量GPUを使用していますが、利用可能な大容量GPUと低容量GPUを混在させたヘテロジニアス・クラスタを利用することで、実行コストを大幅に削減できる可能性があります。ヘテロジニアスクラスターを使用した効率的なLLMサービングをサポートする設計は不足しており、現在のソリューションは、ホモジニアスデバイス間でのモデル分割と均一な圧縮に焦点を当てています。本稿では、ヘテロジニアスGPUクラスタ上でのLLMサービング効率を改善するために、適応的モデル量子化と位相考慮パーティションを提唱するシステムであるLLM-PQを提案する。我々は、分散LLMサービングにおける位相考慮モデル分割とマイクロバッチサイジングとともに、混合精度モデル量子化を効率的なアルゴリズムで慎重に決定し、ユーザが指定したモデル品質目標を満たしながら推論スループットを大幅に向上させる。LLM-PQは最大2.88倍(平均2.26倍)の推論スループット向上を達成し、最先端の研究に対して大きな優位性を示している。

要約(オリジナル)

Recent breakthroughs in Large-scale language models (LLMs) have demonstrated impressive performance on various tasks. The immense sizes of LLMs have led to very high resource demand and cost for running the models. Though the models are largely served using uniform high-caliber GPUs nowadays, utilizing a heterogeneous cluster with a mix of available high- and low-capacity GPUs can potentially substantially reduce the serving cost. There is a lack of designs to support efficient LLM serving using a heterogeneous cluster, while the current solutions focus on model partition and uniform compression among homogeneous devices. This paper proposes LLM-PQ, a system that advocates adaptive model quantization and phase-aware partition to improve LLM serving efficiency on heterogeneous GPU clusters. We carefully decide on mixed-precision model quantization together with phase-aware model partition and micro-batch sizing in distributed LLM serving with an efficient algorithm, to greatly enhance inference throughput while fulfilling user-specified model quality targets. Extensive experiments on production inference workloads in 11 different clusters demonstrate that LLM-PQ achieves up to 2.88x (2.26x on average) throughput improvement in inference, showing great advantages over state-of-the-art works.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL