Fast Distributed Inference Serving for Large Language Models

要約

タイトル：大規模言語モデルの高速分散推論サービング
要約：
– 大規模言語モデル(LLMs)は、ChatGPTのようなインタラクティブなAIアプリケーションの新世代を担っている
– これらのアプリケーションは低いジョブ完了時間(JCT)を要求するため、既存のLLMサービングシステムは推論ジョブの完了まで待ってから次のジョブを処理するrun-to-completion処理を使用している
– しかしこの方法はヘッドオブラインブロッキングと長いJCTによる問題がある
– そこで、FastServeという分散推論サービングシステムを提案する。FastServeはLLM推論の自己回帰パターンを利用して、各出力トークンの単位でプリエンプションを可能にし、JCTを最小限に抑える
– FastServeは、新しいセミ情報非依存のLLM推論設定に基づき、入力長情報を活用して、到着したジョブが参加する適切な初期キューを割り当てるためのskip-join Multi-Level Feedback Queueスケジューラを備えている。参加する前の優先度の高いキューは、降格を減らすためにスキップされる
– LLM推論のためのGPUメモリ管理メカニズムを設計し、LLMのGPUメモリとホストメモリの間で中間状態を効率的にオフロードしてアップロードすることで、高速化を図る
– NVIDIA FasterTransformerに基づくFastServeのシステムプロトタイプを構築し、実験結果では、Orcaという最新のソリューションに比べて、平均とテールのJCTをそれぞれ最大5.1倍と6.4倍改善できた。

要約(オリジナル)

Large language models (LLMs) power a new generation of interactive AI applications exemplified by ChatGPT. The interactive nature of these applications demand low job completion time (JCT) for model inference. Existing LLM serving systems use run-to-completion processing for inference jobs, which suffers from head-of-line blocking and long JCT. We present FastServe, a distributed inference serving system for LLMs. FastServe exploits the autoregressive pattern of LLM inference to enable preemption at the granularity of each output token. FastServe uses preemptive scheduling to minimize JCT with a novel skip-join Multi-Level Feedback Queue scheduler. Based on the new semi information-agnostic setting of LLM inference, the scheduler leverages the input length information to assign an appropriate initial queue for each arrival job to join. The higher priority queues than the joined queue are skipped to reduce demotions. We design an efficient GPU memory management mechanism that proactively offloads and uploads intermediate states between GPU memory and host memory for LLM inference. We build a system prototype of FastServe based on NVIDIA FasterTransformer. Experimental results show that compared to the state-of-the-art solution Orca, FastServe improves the average and tail JCT by up to 5.1$\times$ and 6.4$\times$, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI