Cost-Efficient Large Language Model Serving for Multi-turn Conversations with CachedAttention

要約

マルチターン会話を通じて人間と対話することは、大規模言語モデル (LLM) の基本的な機能です。
ただし、複数ターンの会話を実行する既存の LLM サービス エンジンは、履歴トークンのキーバリュー (KV) キャッシュを繰り返し計算する必要があるため非効率であり、高いサービス コストが発生します。
この問題に対処するために、この論文では、マルチターン会話全体で KV キャッシュの再利用を可能にし、反復計算のオーバーヘッドを大幅に削減する新しいアテンション メカニズムである CachedAttendant を提案します。
CachedAttendant は、コスト効率の高いメモリ/ストレージ媒体を活用してすべてのリクエストの KV キャッシュを保存する階層型 KV キャッシュ システムを維持します。
低速メディアからの KV キャッシュ アクセスのオーバーヘッドを削減するために、CachedAttendant はレイヤーごとのプリロードと非同期保存スキームを採用して、KV キャッシュ アクセスを GPU 計算とオーバーラップさせます。
アクセスされる KV キャッシュが最速の階層に配置されるようにするために、CachedAttendant はスケジューラー対応のフェッチおよびエビクション スキームを採用し、推論ジョブ スケジューラーからのヒントに基づいて KV キャッシュを異なるレイヤーに意識的に配置します。
コンテキスト ウィンドウのオーバーフローによる保存された KV キャッシュの無効化を回避するために、CachedAttendant は、位置エンコーディングを分離し、KV キャッシュを効果的に切り捨てることで、保存された KV キャッシュを有効なままにしておくことができます。
広範な実験結果は、CachedAttendant が最初のトークン (TTFT) までの時間を最大 87% 大幅に短縮し、マルチターン会話のプロンプト事前入力スループットを最大 7.8$\times$ 改善し、エンドツーエンドの通信速度を削減することを示しています。
推論コストが最大 70% 削減されます。

要約(オリジナル)

Interacting with humans through multi-turn conversations is a fundamental feature of large language models (LLMs). However, existing LLM serving engines executing multi-turn conversations are inefficient due to the need to repeatedly compute the key-value (KV) caches of historical tokens, incurring high serving costs. To address the problem, this paper proposes CachedAttention, a new attention mechanism that enables reuse of KV caches across multi-turn conversations, significantly reducing the repetitive computation overheads. CachedAttention maintains a hierarchical KV caching system that leverages cost-effective memory/storage mediums to save KV caches for all requests. To reduce KV cache access overheads from slow mediums, CachedAttention employs layer-wise pre-loading and asynchronous saving schemes to overlap the KV cache access with the GPU computation. To ensure that the KV caches to be accessed are placed in the fastest hierarchy, CachedAttention employs scheduler-aware fetching and eviction schemes to consciously place the KV caches in different layers based on the hints from the inference job scheduler. To avoid the invalidation of the saved KV caches incurred by context window overflow, CachedAttention enables the saved KV caches to remain valid via decoupling the positional encoding and effectively truncating the KV caches. Extensive experimental results demonstrate that CachedAttention significantly decreases the time to the first token (TTFT) by up to 87%, improves the prompt prefilling throughput by up to 7.8$\times$ for multi-turn conversations, and reduces the end-to-end inference cost by up to 70%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google