Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction

要約

大規模言語モデル (LLM) は、多数のドメインにわたって対話型 AI アプリケーションの新しい波を推進しています。
ただし、生成モデルの自己回帰的な性質に起因する予測不可能な実行時間のため、LLM 推論リクエストを効率的に処理することは困難です。
既存の LLM サービス システムは先着順 (FCFS) スケジューリングを利用しており、ヘッドオブライン ブロッキングの問題に悩まされています。
LLM の非決定的な性質に対処し、効率的な対話型 LLM 提供を可能にするために、ライト プロキシ モデルを使用して LLM 出力シーケンス長を予測する投機的最短ジョブ優先 (SSJF) スケジューラを紹介します。
当社のオープンソース SSJF 実装では、メモリ管理やバッチ処理戦略を変更する必要はありません。
実際のデータセットと実稼働ワークロード トレースの評価では、バッチ処理なし、動的バッチ処理、および連続バッチ処理の設定全体で、FCFS スケジューラと比較して、SSJF は平均ジョブ完了時間を 30.5 ～ 39.6% 短縮し、スループットを 2.2 ～ 3.6 倍向上させることが示されています。

要約(オリジナル)

Large language models (LLMs) have been driving a new wave of interactive AI applications across numerous domains. However, efficiently serving LLM inference requests is challenging due to their unpredictable execution times originating from the autoregressive nature of generative models. Existing LLM serving systems exploit first-come-first-serve (FCFS) scheduling, suffering from head-of-line blocking issues. To address the non-deterministic nature of LLMs and enable efficient interactive LLM serving, we present a speculative shortest-job-first (SSJF) scheduler that uses a light proxy model to predict LLM output sequence lengths. Our open-source SSJF implementation does not require changes to memory management or batching strategies. Evaluations on real-world datasets and production workload traces show that SSJF reduces average job completion times by 30.5-39.6% and increases throughput by 2.2-3.6x compared to FCFS schedulers, across no batching, dynamic batching, and continuous batching settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google