Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models

要約

現実の世界では、大規模言語モデル (LLM) は、ユーザーが仕事を遂行するのを支援するアシスタントとして機能し、高度なアプリケーションの開発もサポートします。
LLM を広く応用するためには、推論効率が不可欠な問題であり、これは既存の研究で広く研究されており、推論効率を改善するために多数の最適化アルゴリズムとコード ライブラリが提案されています。
それにもかかわらず、ユーザーは上記のすべての方法の有効性を比較し、根底にあるメカニズムを理解することが依然として難しいと感じています。
この作業では、さまざまなコード ライブラリの推論パフォーマンスについて、粗いものから細かいものまで詳細な分析を実行します。
全体的な有効性を評価するために、2 つの実際のアプリケーション内の 4 つの使用シナリオを調べます。
さらに、Transformer アーキテクチャの各モジュールの理論的および経験的な詳細な分析を提供します。
私たちの実験では、研究者がコード ライブラリを評価し、推論戦略を改善するために非常に貴重な包括的な結果が得られます。

要約(オリジナル)

In real world, large language models (LLMs) can serve as the assistant to help users accomplish their jobs, and also support the development of advanced applications. For the wide application of LLMs, the inference efficiency is an essential concern, which has been widely studied in existing work, and numerous optimization algorithms and code libraries have been proposed to improve it. Nonetheless, users still find it challenging to compare the effectiveness of all the above methods and understand the underlying mechanisms. In this work, we perform a detailed coarse-to-fine analysis of the inference performance of various code libraries. To evaluate the overall effectiveness, we examine four usage scenarios within two practical applications. We further provide both theoretical and empirical fine-grained analyses of each module in the Transformer architecture. Our experiments yield comprehensive results that are invaluable for researchers to evaluate code libraries and improve inference strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google