Inference acceleration for large language models using ‘stairs’ assisted greedy generation

要約

数十億のパラメータを持つ大規模言語モデル (LLM) は、その優れた予測機能で知られていますが、実行するには多くのリソースが必要です。
人気が大幅に高まっているため、必要な資源がわずかに削減されただけでも環境に影響を与える可能性があります。
一方、モデルが小さいと必要なリソースは少なくなりますが、精度が犠牲になる可能性があります。
この作業では、「階段」支援の貪欲生成の実装を提案しています。
これは、予測生成の高速化を達成するために、小さなモデルの高速生成、大きなモデルのバッチ予測、および「階段」検証を利用する、修正された支援生成方法論です。
結果は、テキスト生成タスクにおけるスタンドアロンの大規模 LLM 予測と比較して、精度を損なうことなく推論時間が 9.58 ～ 17.24 パーセント短縮されたことを示しています。

要約(オリジナル)

Large Language Models (LLMs) with billions of parameters are known for their impressive predicting capabilities but require lots of resources to run. With their massive rise in popularity, even a small reduction in required resources could have an impact on environment. On the other hand, smaller models require fewer resources but may sacrifice accuracy. In this work, we are proposing an implementation of “stairs” assisted greedy generation. It is a modified assisted generation methodology that makes use of a smaller model’s fast generation, large model’s batch prediction, and ‘stairs’ validation in order to achieve a speed up in prediction generation. Results show between 9.58 and 17.24 percent inference time reduction compared to a stand-alone large LLM prediction in a text generation task without a loss in accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google