LiveMind: Low-latency Large Language Models with Simultaneous Inference

要約

この論文では、LLM が不完全なプロンプトで推論を実行できるようにする、大規模言語モデル (LLM) 推論のための新しい低遅延推論フレームワークを紹介します。
プロンプト入力フェーズに計算プロセスを再割り当てすることで、レイテンシーの大幅な短縮を実現し、それによって LLM のユーザーのインタラクティブなエクスペリエンスを大幅に向上させます。
このフレームワークは、モデルに対するストリーミング プロンプトの可視性を適切に管理し、不完全なプロンプトから推論したり、追加のプロンプトを待機したりできるようにします。
完全なプロンプトを利用する従来の推論方法と比較して、私たちのアプローチは、同等の精度を維持しながら、MMLU-Pro データセットでの応答遅延が平均 59% 削減されることを示しています。
さらに、私たちのフレームワークは、さまざまなモデル間での協調的な推論と出力を容易にします。
推論に LLM を、出力に小型言語モデル (SLM) を採用することで、SLM ベースラインと比較して、MMLU-Pro データセットの精度が 5.5% 向上するとともに、応答遅延が平均 68% 削減されました。
20 文を超える長いプロンプトの場合、応答待ち時間を最大 93% 短縮できます。

要約(オリジナル)

In this paper, we introduce a novel low-latency inference framework for large language models (LLMs) inference which enables LLMs to perform inferences with incomplete prompts. By reallocating computational processes to prompt input phase, we achieve a substantial reduction in latency, thereby significantly enhancing the interactive experience for users of LLMs. The framework adeptly manages the visibility of the streaming prompt to the model, allowing it to infer from incomplete prompts or await additional prompts. Compared with traditional inference methods that utilize complete prompts, our approach demonstrates an average reduction of 59% in response latency on the MMLU-Pro dataset, while maintaining comparable accuracy. Additionally, our framework facilitates collaborative inference and output across different models. By employing an LLM for inference and a small language model (SLM) for output, we achieve an average 68% reduction in response latency, alongside a 5.5% improvement in accuracy on the MMLU-Pro dataset compared with the SLM baseline. For long prompts exceeding 20 sentences, the response latency can be reduced by up to 93%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google