A Survey on Inference Engines for Large Language Models: Perspectives on Optimization and Efficiency

要約

大規模な言語モデル（LLM）は、チャットボット、コードジェネレーター、および検索エンジンに広く適用されています。
考え方、複雑な推論、エージェントサービスなどのワークロードは、モデルを繰り返し呼び出すことにより、推論コストを大幅に増加させます。
並列性、圧縮、キャッシュなどの最適化方法が採用されてコストを削減していますが、多様なサービス要件により、適切な方法を選択することが困難になります。
最近、特殊なLLM推論エンジンが、最適化方法をサービス指向のインフラストラクチャに統合するための重要なコンポーネントとして浮上しています。
ただし、推論エンジンに関する体系的な研究はまだ不足しています。
このペーパーでは、25のオープンソースと商業的推論エンジンの包括的な評価を提供します。
使いやすさ、展開の容易さ、汎用サポート、スケーラビリティ、およびスループットおよびレイテンシー認識の計算の適合性の観点から、各推論エンジンを調べます。
さらに、サポートする最適化技術を調査することにより、各推論エンジンの設計目標を探ります。
さらに、オープンソースの推論エンジンの生態系の成熟度を評価し、商業ソリューションのパフォーマンスとコストポリシーを処理します。
複雑なLLMベースのサービスのサポート、さまざまなハードウェアのサポート、および強化されたセキュリティを含む将来の研究の方向性を概説し、最適化されたLLM推論エンジンを選択および設計する際に研究者と開発者に実用的なガイダンスを提供します。
また、この急速に進化する分野の開発を継続的に追跡するためのパブリックリポジトリを提供します：https：//github.com/sihyeong/awesome-llm-inference-enference-enferenc

要約(オリジナル)

Large language models (LLMs) are widely applied in chatbots, code generators, and search engines. Workloads such as chain-of-thought, complex reasoning, and agent services significantly increase the inference cost by invoking the model repeatedly. Optimization methods such as parallelism, compression, and caching have been adopted to reduce costs, but the diverse service requirements make it hard to select the right method. Recently, specialized LLM inference engines have emerged as a key component for integrating the optimization methods into service-oriented infrastructures. However, a systematic study on inference engines is still lacking. This paper provides a comprehensive evaluation of 25 open-source and commercial inference engines. We examine each inference engine in terms of ease-of-use, ease-of-deployment, general-purpose support, scalability, and suitability for throughput- and latency-aware computation. Furthermore, we explore the design goals of each inference engine by investigating the optimization techniques it supports. In addition, we assess the ecosystem maturity of open source inference engines and handle the performance and cost policy of commercial solutions. We outline future research directions that include support for complex LLM-based services, support of various hardware, and enhanced security, offering practical guidance to researchers and developers in selecting and designing optimized LLM inference engines. We also provide a public repository to continually track developments in this fast-evolving field: https://github.com/sihyeong/Awesome-LLM-Inference-Engine

arxiv情報

提供元, 利用サービス

arxiv.jp, Google